方那些沒有實權但很有尊榮的官位讓給那些世家，呂布還拜世家人物盧植、蔡邕為師。又娶蔡邕女兒蔡琰為妻，這些舉措都讓呂布贏得了不少世家的好感。

當初冀州、幽州、幷州、兗州、豫州五州世家叛軍裡面，叛亂世家佔據整個世家還不到十分之一。大多都是被楊彪、劉弘、鄭泰等人忽悠的，當呂布以雷霆之勢平滅了五州世家聯軍後，在瓜分這些叛亂世家的利益時。中央軍得到了大部分的利益，剩下一部分也分給了那些不參與叛亂的中立世家，這樣也贏得了這些世家的好感。

呂布一直宣揚的是“世家可以分為邪惡世家、良善世家，要團結良善世家對付邪惡世家”，而對大部分世家來說，他們不是汝南袁家、太原王家、溫縣司馬家這種素來有野心的世家，他們不會懷疑自己這個世家在呂布的定義裡屬於邪惡世家，都會把自己往良善世家上靠。特別是像荊州蒯家、馬家、龐家這種詩書傳家並未做過多少缺德事情的世家更是認為呂布不會針對自己這樣的世家下手，即便是做了一些壞事的襄陽蔡家也不認為自己是邪惡世家，也認為自己若投效呂布後，得到的利益遠比袁紹下面的多。

呂布在佔領青州、朔州、司州時，對待世家的政策是緩緩圖之，世家的田地財產都一概不動，除非那個世家民憤極大。除非那個世家是頑固地追隨敵人，呂布是準備每隔一兩年除掉一個威脅到地方秩序、民憤極大的世家，不準備一下子就把這些世家統統除掉，更不願意為了滿足自己帶來的文武將領們的利益而損害本地世家的利益。…；

當然呂布不會只為了這些牆頭草一樣的世家人物發來的投效書信，就以為自己真的能夠速平荊州。讓呂布堅信自己能夠攻取荊州的是他得到了荊州兩股獨立勢力的投效。

一股是潛逃在襄陽城外群山之中的張虎、陳生，這兩人之前由蒯越、龐季勸說投效袁紹，但袁紹一直嫌棄張虎、陳生的出身，對他們甚是慢待，袁紹在大谷被呂布四部人馬伏擊，袁紹以為張虎、陳生在此之前沒有好好地探察大谷兩側有否埋伏，遷怒於張虎、陳生，想要收殺他們，張虎、陳生聽聞後，一怒之下，領著原本的四五千人馬反上山，得知呂布大軍來攻打荊州，便派人前去聯絡呂布。

呂布自然巴不得有張虎、陳生這股勢力在荊州腹地牽制袁紹，便任命兩人為討賊校尉，送給他們一千把弓弩，便於他們在山林間牽制袁紹的軍隊。

另一股是屯兵汝南郡郎陵縣的江夏人李通。

李通字文達，小字萬億，乃江夏平春人，以遊俠名聞名於江汝地區，和同郡人陳恭起兵於朗陵後，很多人都歸附。但手下二千家的周直表面上他和李陳很合作，但其實卻很看不順眼兩人，李通知道後決意先下手為強但陳恭的優柔寡斷而同意。李通有見及此也就不去理會他，獨自設計請周直來喝酒，然後乘周直酒醉時殺掉；其手下群龍無首下便被李陳帶兵進攻併吞。後來陳恭被他妻弟陳郃殺了後自領其眾，但不久亦被李通大破，梟了他的首級祭在陳恭墳上。接著，李通又生禽黃巾大帥吳霸並降其眾，但遇上興平時的大饑荒，李通唯有散其家財買糟糠與士卒共甘苦，於是士卒用命，盜賊也不敢犯這塊硬骨頭。

歷史上，李通在建安元年率眾投靠了曹操於許都，曹操便拜他做振威中郎將，讓他駐守在汝南西部，建安二年曹操徵張繡時劉表兵援張繡；在曹洪接戰不利的情況下曹操親征；李通帶著士卒連夜地趕來見曹操，補充了曹操的兵員令曹操有兵再戰，李通作為先鋒，回頭攻打張繡並大破之，李通被升作裨將軍。

呂布派能言善辯的大將軍掾闞澤前去勸說李通歸順自己，而此時汝南大饑荒，李通剛生擒吳霸並降其眾，麾下有六千多眾，軍糧不足，闞澤說服豫州遊擊將軍魏延送軍糧資助李通，有了這個恩情後，闞澤再曉之以理，李通決