席散，曹豹回去，深恨张飞，得到吕布一修书，看完大喜，率领部分丹阳兵等待吕布到来，吕布便大举进军，早晨到达城下。天亮后，丹阳兵打开城门，下邳城内打乱，张飞正醉卧府中，左右急忙摇醒，报说：“吕布赚开城门，杀将进来了！”张飞大怒，慌忙披挂，绰了丈八蛇矛；才出府门上得马时，吕布军马已到，正与相迎。张飞此时酒犹未醒，不能力战。吕布素知张飞勇猛，亦不敢相逼。十八骑燕将，保着张飞，杀出东门，玄德家眷在府中，都不及顾了。曹豹见张飞只十数人护从，又欺他醉，遂引百十人赶来。张飞见曹豹，大怒，拍马来迎。战了三合，曹豹败走，张飞赶到河边，一枪正刺中曹豹后心，连人带马，死于河中。飞于城外招呼士卒，出城者尽随飞投淮南而去。吕布入城安抚居民，令军士一百人守把玄德宅门，诸人不许擅入。张飞引数十骑，直到盱眙来见玄德，具说曹豹与吕布里应外合，夜袭徐州。众皆失色。玄德叹曰：“得何足喜，失何足忧！”关羽说：“嫂嫂安在？”张飞哭道：“皆陷于城中矣。”玄德默然无语。关公顿足埋怨说：“你当初要守城时说什么？兄长分付你到这里干什么来？今日城池又失了，嫂嫂又陷了，如何是好！”张飞闻言，惶恐无地，掣剑欲自刎。

玄德向前抱住，夺剑掷地说：“古人云：‘兄弟如手足，妻子如衣服。衣服破，尚可缝；手足断，安可续？’我三人桃园结义，不求同生，但愿同死。今虽失了城池家小，怎能忍心叫兄弟去死？何况城池本非我应该有的有；家眷虽被陷，吕布必不谋害，可以设计救之。贤弟一时之误，何至遽欲捐生耶！”说罢大哭。关、张俱感泣。

吕布又得袁术来信，相约夹攻广陵，吕布大喜，让高顺率兵与纪灵合兵夹攻，果然刘备大败转军海西，困顿至极，得从事东海糜竺以家财助军。

但是，袁术许诺并未兑现，让吕布很恼火，这时，刘备饥饿疲惫，向吕布请求投降。吕布便让刘备前来，交还家眷谓关、张曰：“我知吕布必不害我家眷也。”乃入城谢吕布。张飞恨吕布，不肯随往，先奉二嫂往小沛去了。玄德入见吕布拜谢。吕布说：“我非欲夺城；因令弟张飞在此恃酒杀人，恐有失事，所以过来据守。”刘备说：“我想让给吕布兄很久了。”布假意仍让刘备。刘备力辞，还屯小沛住扎。关、张心中不忿。刘备说：“屈身守分，以待天时，不可与命争也。”吕布令人送粮米缎匹。自此两家和好，不在话下。

之前，献帝受李傕和郭汜的劫持，外逃，下诏给吕布迎驾。由于吕布的军队没有储备足够的粮食，无法勤王，于是吕布派遣使者上书谢罪。朝廷任命吕布为平东将军，封平陶侯。

公元196年（建安元年）六月夜半时，吕布部将河内人郝萌在袁术的怂恿下发动叛乱，率兵部队攻打吕布治所下邳，城池防守坚固无法攻入，吕布不知道造反的是谁，带领家眷逃往高顺营寨，高顺问道：“将军有所隐不？”吕布回答：“这是河内人的声音。”于是高顺便猜到造反的是郝萌，于是率部到下邳平叛，弓弩齐发射死郝萌部，天亮还营。（《册府元龟》则记载吕布与高顺一同前往平叛。）郝萌的部将曹性反正，与郝萌对战，郝萌刺伤曹性，曹性斩断郝萌一臂，高顺乘势斩下郝萌的首级，用床担着受伤的曹性前往见吕布。吕布问曹性此事起源，曹性回答：“郝萌收到袁术的鼓动而造反。”吕布又问：“同谋的都有谁？”曹性回答说陈宫同谋，当时陈宫坐在吕布旁白，脸发红，旁人都察觉到了。吕布因为陈宫是大将，并不追究。曹性又说：“郝萌造反时曾问我可行吗？我说吕大将军神勇不可对抗，没想到郝萌狂惑不止。吕布对曹性说：“你真是个健儿。”让其好好养伤，等曹性伤愈后，让他统领郝萌的余部。