清军四处受敌，被逼入绝境。朝廷飞檄衢州江长贵、九江李定太、文瑞等援浙，稍后，曾国藩调湘军悍将李元度率平江勇赶至浒津岭救援。
这时，通过曾纪泽等人在安徽的战斗，曾国藩已经意识到湘勇和当地团练一起抗击太平长毛的好处，曾国藩让李元度请浙江团练助战，充实军力。
当地那些团练是当地人，熟悉当地环境，而且保家乡特别卖力，湘军如虎添翼，最终在祈门遏止住常山、开化攻来的石达开部的太平军。
连日进攻，石达开部的太平军很是疲乏，不得不进攻停顿，原地休整。不过，朝廷上层官员尤其满洲贵族糜烂不堪，但科举出身的中下级官员中，却人才济济，救了满清一条小命。石达开部的太平军不断遭到祈门知县林用光所率团勇的袭击，寝食难安，损失数千人。不得不再次撤退，李元度率部驻扎屏风关关口，这个关口十分险要，一夫当关，万夫莫开。
石达开被太平军一连串的失败激怒了，他下令常山太平军全军尽出，和李元度的湘军决战！两军爆发空前血战，长毛一改入浙来萎靡之风，势如疯狗，抵死不退，其时天降暴雨，李元度军火器无用武之地，石达开亲自上阵擂鼓助威，太平军士气大振，猛攻李元度部的营盘。
这一路湘军精锐与4000太平军展开惨烈近身肉搏，尸横遍野，最终，杀红了眼的湘军在生力军支援下惨胜。
就这样，石达开的偏路军受阻，没有办法，时间拖得越久，衢州的援军只会越多，而一旦曾国藩的援军赶到浙江战场，到时候太平军跑都跑不掉，石达开只好再次下令强攻衢州。
清廷在浙江督战的耆龄，也不是昏官，他窥破石达开企图，奏称石达开攻取常山等地，不过欲分衢州兵力，他让清军主力钉死衢州，绝不可分周天受守衢州之兵，常山等地战事由各省派遣援军助战。清廷纳其议，调拨江南大营和春部将郭启举5000人增援常山开化，又调周天培等几路人马充实周天受的衢州守军，合其他各路清军，衢州附近与石达开激战清军精锐达到二万七八千人，非但未分兵力，实力反更见雄厚。
石达开硬攻衢州的计划落空，部属死伤惨重。这时曾国藩让萧启江、张运兰、王开化部一万七千余人抓紧时间入浙江援助。石达开接到此消息，只好放弃了衢州，移兵攻下寿昌，绕道向杭州进发。
然而，石达开再次落入周天受算计，周天受命李定太率精选士卒7000人连夜偷袭石达开在寿昌的营垒，段光清也率黔勇来源，清军三路围攻石达开，石达开分兵拒战，清军数路并进，连毙太平军将领多名，石达开部败溃；清军各营追逐，石达开拼死回扑，还是没有成功。寿昌大败，石达开图杭、严道路彻底封死，石达开心灰意冷，决定从浙江全线撤退，转战福建，与部下杨辅清的部队会师。杨辅清的队伍趁着石达开部在浙江战场牵制了清军东南主力的时机，在福建开辟了数块根据地。
石达开退兵到衢州城西南四十里处后溪镇，将军营设在当地一家乡绅宅院里，心情低落。当时石达开再娶了五个妻妾，生了几个孩子，这宅子房屋不够用，石达开随从官员和侍卫亲兵便分散在镇上祠堂、商栈、民宅中办事住宿。
时近秋日，夏日的余威犹在，院中两棵蔽阴的香樟树枝叶纹丝不动，知了在树上叫得人心烦。傍晚，石达开从前线督师回来，满身大汗回到客厅，只是喊热，小妾刘氏、马氏赶紧过来为他除去袍帽短衫，赤了膊，侍女端来一盆井水，绞了手巾把子，由马氏替石达开擦了身，换上干净的白纺绸衫，然后与刘氏退了下去。另一名侍女切了一盘西瓜捧了进来，是用吊篮放在井中凉却的，石达开的正妻黄氏陪他着西瓜，看他沮丧疲累的神色，关切地问：“今天又交了一仗吧？怎么样？”
石达开这时身边并没有太亲近的将领议论战事，内心的苦闷无处可诉，这时家人便是他战斗的最后动力，他隔了好一会才闷闷地对黄氏说道：“浙江的仗打不下去了，每次弟兄们拼命猛攻，眼见冲进去了，无奈妖军狡猾，城里又挖了一道壕沟，挡住了去路，重新又把缺口堵住了，倒是死伤了不少弟兄。我军湖口大捷收复武昌的时候，所向无敌，一座座城池的收复，简直不用打仗。为什么这回从安庆出师，在江西打得很吃力，到浙江来，几万大军拿不下一座衢州城，究竟什么缘故，我实在想不透。难道是我老了？本来我想打下浙江，让你们娘俩过几天安生的日子，看来还得要一段时间。我已下令退兵了，明天就退出浙江，你回去收拾一下。”
“啊？不去浙江，我们回江西吗？”黄氏问道。
石达开叹了一口气，说：“江西回不去了，九江、抚州、建昌都被曾妖军夺去，林启容战死九江，吉安城也被攻破，我决定去福建。”
黄氏问道：“福建那地方又苦又穷，去哪儿受罪干嘛？”
石达开道：“福建那里的妖军兵力薄弱，杨辅清已在闽西北占据了浦城、建阳等一大片地方，我们去了，有了立足的地方，两部人马加起来有十万人，进可攻，退可守。那里都是山路，闭关自守，曾妖头也很难打得进来。让部下在福建休养一个时期，再打到外省去。你不用多问，回去准备吧。”
山里的天气太热了，黄氏没有说话，军国大事，本来也轮不到她这妇人操心的份，她径直回里屋去了，收拾好床铺，把孩子哄着睡着了，就解开衣裳，脱了个光，等石达开回房休息了。