洛阳五校营变乱的同一日，石勒在众将的一再劝说下，终于下令退兵。
他当时双手搀扶起跪在面前的孔苌，目露悲凄之色，徐徐说道：“朕本并州躬耕一小羯，其后动乱，被卖为牧奴，复与卿等十八骑纵横于赵魏之间，乃得举兵，竟敢图谋天下——迄今已十五六岁矣。想那汉高祖，本沛上小吏，汉光武，陈留秀才，汉光文，胡部贵帅……古来帝王，出身绝无比朕更低微者。
“能以奴隶而至南面称尊，上天待朕亦厚，惜乎朕未能把握机会，复欲侥幸走险，乃至于此。然而富贵已极，平生强敌，如王弥、苟晞、王浚等，亦皆为朕所杀，还有何憾哪？本欲就此自绝，当不输于项羽在乌江，或可使后世读史者抉一捧泪，奈何卿等……
“卿等十八骑，自随朕以来，时有伤损，数年之间，即丧冀保、刘鹰、刘征、刘宝、张噎仆、张越、孔豚、赵鹿……呼延莫也陷身于贼，所余唯卿等。朕又怎忍心卿等因朕之过，伴朕而死呢？为今之计，只有从卿之言，暂且退兵，严守河北，或许卿等尚有得尽天年之望……若卿等俱亡，朕也唯有从卿等去了，区区国家，何足道哉？！”
但是石勒也知道，想要在敌前撤退，不是那么容易的事情，于是先命不撤营中旗帜，以惑晋人，而自率大军潜出，退向敖仓，复自敖仓沿河北遁。他下令留下厘、陇、管三城守兵，由郭黑略统领，作为阻挡晋师的第一道防线；命桃豹守备卷城，作为阻挡晋师的第二道防线；余众俱退。
计划大军分三部分，一部由扈亭北渡，二部由铜关北渡，三部自棘津、文石津方向北渡——这是因为十来万大军，即便有足够的船只，若经一处涉渡，也不可能短短数日内便即全过黄河，一旦被晋人追及，堵在河岸上，则必致惨败哪。
至于祖逖得知李矩收复州县的消息，则比石勒要晚一天——终究敖仓、扈亭等处全都掌握在赵军手中，荥阳也被三面包围，李矩的信使想要穿越重重封锁，顺利进入荥阳城内，不是一件容易的事情。好在李世回真正是黄河中游的地头蛇，昔曾于河内、荥阳等地与胡军长期周旋，不但地理稔熟，就连很多附羯的坞堡，也都与之暗通声气，所以虽然晚了一天，信报还是顺利传入了祖逖的耳中。
倘若南下传信之人全都失败，被迫要先自河南涉渡，经成皋赶往荥阳，估计就彻底不赶趟了。
祖逖得报，不禁大喜，急忙亲自登上城头，觇看羯军营垒，待下城后便召聚诸将，说：“河内战局大好，羯贼因此而退，这正是我转守为攻的大好时机！”
许柳质疑道：“贼若退去，成皋关上必然先得讯息，应当燃烽点火，通报于我。而今却并不见烽燧……”
祖逖笑道：“石勒素知兵，岂有敌前退兵而不加掩饰的道理啊？其于关下，必然虚垒以惑王愈。我方登城觇看敌营，往日即便不来攻城，万众所聚，必有杀气腾空，化为阵云，凝结不散；而今旌旗虽举，晴空却丝毫无滓，此必退去矣！”
其实杀气化阵云之说，出于兵阴阳，祖士稚本人是不大信的，他也肯定瞧不出来。但打老了仗的人，一见敌营，便本能的有所判定，纯出直觉，没法跟诸将解释，那就只好把套话给搬出来了——
“此时出城急追，必可大败羯贼，若然延挨，使其轻松遁去，那便悔之无及了！”
于是当即分派诸将，命张平去收复敖仓，然后沿河东追；樊雅去攻围厘、陇等城，自军合后，尝试前出；同时遣冯铁率骁骑军自陇、管二城间突破，直向阳武，一方面堵截羯兵，另方面通知阳武城内的祖济，可以就此展开全面反攻了。
“喀啦啦”声响，荥阳东、北、南三门缓缓打开，晋军蜂拥而出。出东城的樊雅先与城下列阵，随即直捣羯垒，果不出祖逖所料，座座都是空营。樊雅大喜，当即高呼道：“羯贼进退，全在祖公料算之中。彼今退去，必无战意，我等衔尾而追，可获大胜——破贼立功，只在今日！”
晋军最近半个月里一直被赵军逼着打，虽然因为祖逖布划得当，并无大损，将士心中也难免憋闷，忽然一朝转守为攻，胸中恶气得以尽吐，自然人如猛虎马如龙，个个精神抖索，士气高昂。相比之下，郭黑略所部被留下防守厘、陇等城，在气势上就天然地矮了一头。因而樊雅前出，分兵围攻诸城，赵军只能固守而已，并不敢出城来战。
祖逖、冯铁等因此顺利突破羯军防线，直向卷县、阳武方向杀来。
再说张平顺利收复了敖仓，不敢休歇，沿着黄河南岸一路东追，于当日黄昏时分抵达了扈亭。赵军一部方在扈亭抢渡，因为没想到晋人来得那么快，尚有小半未及下船，结果被晋军一轮冲锋，将部伍彻底打散，抛尸河中者不下千数，余或奔向卷县，或者跪地请降。
翌日，祖逖与张平在卷县城下合兵一处。桃豹紧闭四门，拼死守护，使得晋军的第一轮攻势未能奏效。祖逖见城上并无石勒的大纛，乃留下张平继攻卷县，自率精锐六七千众，自卷县以北向东，循河急追。
晋军两日间疾行百五十里，等到抵达铜关对岸之时，迎面便撞见了第二批北渡的羯军。原本石勒退兵的谋划颇为谨严，但终究是仓促撤退，他身边的参谋班子也不如关中枢部那般，惯常分析数据，制作预案，遂导致一招失算，全盘被动——套用后世的话来说，这份计划的容错率太低了。
终究羯军所准备的船只，是远不够将十多万人马及相应物资，一两日间便运送过黄河去的，因而计划第一部分先在扈亭北渡，然后船只顺水放下，再在铜关接应第二批兵马……然而晋人反应得实在是太快了，张平在扈亭不但击溃了小半待渡的羯兵，还顺便缴获了不少舟船，这就使得铜关方向的渡河效率变低，速度更为缓慢。
祖逖到时，河岸上尚有数万羯兵待渡。他自知远来疲惫，且兵不足万，倘若直冲羯阵，未必能有胜算，因而只是排列方阵，高张旌旗，鼓角声震天动地地缓缓直迫过去。赵军尝试突击，却被晋兵击退，于是士气大堕，争相抢渡，落水而死者无算。祖逖见此情景，方才喝令部曲王安举旗——他自己一手控缰，另一条胳膊还用绷带吊在胸前呢，实在是举不起来——全军掩杀过去。