曹仁收拢败兵，使人哨探知新野城确实没有刘备兵马，便将兵马在新野驻扎，令曹洪回禀曹操兵败之事。曹操得知新野大败不由大怒，命令大军即刻出发，兵分八路，一边搜山一边填塞白河而进。刘备得知曹操亲来，八路分兵填白河而进，不由大惊，问计与诸葛亮：“此番曹操率领大军亲至，如此怎能抵挡？”诸葛亮回道：“敌众我寡，不如弃樊城，退守襄阳。”刘备却道：“百姓已无家无业，怎能抛弃？”诸葛亮叹了口气说道：“不如告知百姓，愿意跟随的就同去襄阳，不愿意的就留在樊城。”孙乾、简雍便告知各处百姓。两县百姓宁死也要跟随刘备，急忙令关羽准备船只，安排百姓渡河。百姓离开家园，哭喊、悲泣者极多，刘备痛哭流涕：“为我一人而使百姓遭此大难，我有何脸面活在这世间。”说罢欲投河，众人急忙劝阻。以数千军士安抚十余万百姓终于抵达襄阳，襄阳守将蔡帽、张允却不叫入城。刘备在城下大呼道：“刘崇贤侄，我今日到此只为百姓，可放百姓入城，我等去往他处即可。”蔡帽反而令城上军士射杀百姓，刘备只得带着百姓往江陵而去。襄阳城中魏延引本部兵马打开城门欲接刘备进城，却被文聘带人击退，魏延单人独骑逃往长沙投韩玄而去。
刘备一行带着百姓一日行走不过十几里。忽然探马来报，曹操已经到了樊城。众人都劝刘备丢下百姓先走，到了江陵就可以抵挡曹操了。刘备却说：“我们要成就大业需要百姓的支持，今百姓愿意追随与我，我怎么能抛弃他们。”于是，继续携带百姓缓缓而行。诸葛亮建议道：“可让关羽、孙乾前往江夏求救于公子刘琦。”刘备听从建议让关羽、孙乾前往江夏。又令张飞断后，赵云领飞龙军保护家眷，其余军士照抚百姓。又走了数日，迟迟不见关羽回转，刘备对诸葛亮说：“昔日军师为刘琦设谋保命，其必感激军师，军师可前往江夏求援。”诸葛亮听令立即赶往江夏。
行至当阳县附近，有一座山名叫景山，刘备命在此安营。当晚丑时，曹军杀至，其势不可挡。刘备急忙引所余二千余人迎战，眼瞅不敌之时，张飞突然杀到，一番血战保着刘备向东逃窜，文聘领军拦住去路。刘备上前骂道：“背主之人，有何脸面在这世间行走。”那文聘也是红脸汉子，此时理亏词穷，便引军往东北而去。张飞保着刘备一路且战且走，到了天明查看人马，只有一百余骑。两县百姓、家眷及糜竺、糜芳、简雍、赵云等一干人已不知去向。
正在慌乱之时，糜芳身中数箭狼狈而来，见到刘备就说：“赵云反投曹操去了。”刘备厉声喝道：“子龙从我与患难，必然不会反我。”张飞也说道：“不是子龙看大哥如今势单力孤，反投曹操去享富贵去了。”刘备回道：“休得胡说，子龙非是贪恋富贵之人。”糜芳又说：“我亲眼看见他往西北去了。”张飞说道：“待我前去寻他，若是看见，一矛刺死。”刘备斥道：“休要错疑了，你忘了昔日云长斩颜良、诛文丑的事吗？子龙去往西北自然有原因，我料定子龙必不会弃我而去。”张飞哪里肯听，带领二十骑往长板桥而去。张飞粗中有细，叫二十骑将树枝拴在马尾上，在树林之中往来奔驰，为疑兵之态。