曹操担心刘备夺取江陵，遂大军南下襄阳，得知刘备已经出发，遂亲率五千精锐骑兵急速追击，一昼夜行进三百余里，至当阳县长坂时即追上了皇叔。当时刘备麾下虽然人数众多，但多是百姓，队伍庞大战力却不强，完全无法抵御曹操，当时刘备丢下妻子儿女，与诸葛亮、张飞、赵云等数十人乘马前奔，这才逃过一劫，曹操于是夺取了他的大批人马辎重。
这一战后虽然是以刘备惨败告终，但亦有着赵云救阿斗、张飞喝阻曹军的记载，而徐庶也是在此之际离开了刘备。
建安十三年（208），曹操带着曹纯等将士南征荆州，刘琮被迫纳表请降。其后曹操听说刘备南走，深怕他得到江陵军实，于是放弃辎重，与曹纯率领虎豹骑五千，以日行三百里的速度在长坂追上了刘备，将其击溃并缴获了辎重无数，收降了刘备无错小说军的离散士兵。
当时刘备闻知曹操突然赶到，抛下妻子儿女自己前逃，并令张飞率领二十名骑兵断后。张飞守住河岸、拆毁河桥，怒目圆睁，手执长矛大叫：“我是张益德，谁敢前来与我决一死战！”曹军无人敢近，故刘备等得以逃脱。
当时赵云抱着刘备的幼子，即后主刘禅，保护甘夫人，即刘禅的母亲，舍命拼杀使他们母子幸免遇难。
据《云别传》记载，刘备兵败后，赵云往北方而去，有人就向刘备说：“赵云已向北逃走。”刘备大怒，将手戟向那人扔过去，说：“赵子龙不会丢下我逃跑。”过了一会儿，赵云抱着刘备的儿子刘禅来到。
当阳惨败，刘备只是勉强保住了自己的安危，本来徐庶和诸葛亮一同和刘备南下，但在这一战中能逃出来的人太少了，徐庶的老母亲就被曹操军所俘虏，于是徐庶去见刘备，向刘备告辞，指着自己的心说：“我本来打算与将军共同建立王霸大业，是靠此方寸之地，现在失去老母，方寸已乱，留下无益于事，请从此与将军分别。”徐庶就此离开刘备，和石韬一起归顺曹操。
其后刘备等与关羽的船队会合，得以渡过沔水，遇到刘琦及其所率领的一万余人，与刘琦一起到达夏口。这一战刘备失利之后，失去控制江陵的机会，曹操则趁势进入江陵，荆州已经基本落入其手。
在《三国演义》之中，徐庶是刘备得到的第一个重要谋士，帮助其大破八门金锁阵，直取樊城，大败曹仁，可以说是威风凛凛，战功赫赫。其后还被曹操麾下重要谋士程昱评价徐庶是自己十倍之才，曹操因此挟持其母亲，逼其归顺自己。
而徐庶不得已，只能投靠曹操，但他走之前却向刘备推荐了诸葛亮作为自己的继承者，随后发生的就是我们耳熟能详的三顾茅庐了。
可以说在《三国演义》之中，诸葛亮是徐庶的替代者，徐庶本人的才能也几乎不逊色于诸葛亮，因此在后世徐庶的评价也是极高，被认为是当时少数几个顶级谋士之一。
但在正史之中，徐庶的地位和能力完全不能和诸葛亮相提并论。
首先，诸葛亮并不是徐庶的替代者，徐庶的确向刘备推荐了诸葛亮，但当时徐庶还没有离开刘备，刘备请出诸葛亮之后，两人是一同辅佐刘备的，诸葛亮来了以后和刘备是如鱼得水，其地位也明显高于徐庶，所以诸葛亮从来都不是徐庶的替代品，徐庶仅仅只是诸葛亮的推荐人而已。这点和曹操找郭嘉代替戏志才，荀攸代替荀彧是完全不同的。
其次徐庶在历史上所表现出的能力并不出色，他在刘备身边所干的唯一一件事情就是向刘备推荐了诸葛亮，刘备能击败夏侯惇也是靠的自己，当时徐庶很大可能都还没有投靠刘备。
而曹操在当时也不是特意针对徐庶，俘虏其母亲，只不过是顺势抓住而已，当时曹操很可能都没有听过徐庶之名，程昱评价徐庶之才胜其十倍那更完全是小说里的剧情。
徐庶尽管因为老母亲之事离开了刘备，但不可否认，徐庶离开的时候，刘备处于绝对的困境之中，是正需要帮助之时，而那时曹操则刚刚占领荆州，气势正旺，徐庶在此时离去对于刘备是一个很大的伤害。
最后，徐庶总体而言和陈登一样都不能算是刘备阵营之中的人物，他们虽然都投靠过刘备，但明显在曹魏集团做事的时间更长更久。
徐庶投靠曹操后，并没有展现出多么出色的能力，关于其记载也不多，黄初四年（223年），徐庶在魏国被任命为右中郎将、御史中丞。
太和二年（228）诸葛亮率军北伐，听闻徐庶与石韬（郡守、典农校尉）官职都不太高，于是感叹道：“难道是魏国的谋士太多了吗，为什么不重用徐庶与石韬两人呢？”
总体而言，徐庶的历史地位在如今虚高了不少。
当阳惨败之后，刘备的谋划彻底被打乱，本来皇叔准备赶在曹操之前占据江陵，夺取哪里的物资，在以此为据点对抗曹操，可是刘备没想到自己的声望如此之高，附近的百姓和士大夫居然纷纷来投，结果大大拖慢了行军速度，而刘备本人也过于仁慈，非得和大部队一起南下，没有迅速抢先占据江陵，导致曹操追来之后无力对抗，一举惨败。
这一仗会输刘备需要负主要的责任，他的仁义不仅害了自己，还害了追随自己的百姓和士大夫。
但从另一方面来说，这也体现了刘备当时在荆州巨大的声望。不过百姓和士大夫们会来投靠刘备，除了刘备本人的吸引力和影响力之外，还有刘琮的不得人心，再加上荆州百姓对于曹操的畏惧，毕竟当时曹操屠城的事情没有少干，还实行严格的屯田之策，疯狂的剥削百姓，声望会受到不小的影响。
不过话说回来，在三国时代里得人心到这种程度的，恐怕除了刘备就只有刘虞了。
