佔領金華城後，張無易並沒有立即朝着衢州進發，而是在金華府整頓軍隊，兩萬多清兵俘虜，經過一般篩選後，有兩萬人願意加入興夏軍，最後經過一般篩選，興夏軍吸收了一萬五千人，五千多人成爲民夫。其他還有七千多人要求回家，興夏軍則按政策，一人發了一兩銀子遣散回家，對於他們回去後是否又加入清兵，張無易倒不擔心，因爲這些人在被興夏軍俘虜過，如果再度遇到興夏軍，其戰鬥意志就會大降，稍有不對，就會投降，因爲他們知道，興夏軍不會虐待俘虜。後世紅黨在與白黨戰鬥時，爲啥紅黨軍隊越來越多，而白黨軍隊越來越少，優待俘虜起了極大的作用。
老鴉山一戰，興夏軍繳獲豐富，不僅有武器，還有糧食、銀兩和物資，張無易暫時不擔心後勤，經過十多天的休整，興夏軍再度壯大，不僅是數量上，還包括質量，經過數次戰鬥，幾個月前加入的興夏軍已經成爲老兵，還加上一萬多加入的清兵，整支部隊的老兵已經達三萬五千人左右，其他一萬多人雖然差一點，但只要給他們時間，他們的戰鬥技能一樣能上升。
感到時機已經成熟，張無易率領四萬五千多興夏軍朝着衢州城逼近，他要拿下衢州城，讓王鷺率領的大軍不僅要背腹受敵，而且斷了清軍的後勤，要知十多萬清兵一天需要海量的物資，基本上都堆積在衢州城裡，只要拿下衢州城，王鷺的閩浙大軍就不攻自破。
衢州城，殺聲震天，興夏軍在這裡已經進攻了七天時間，在前四天，興夏軍佔領了清兵在城外佈下的三道防線，把清兵趕回城內，然後用了一天時間清理了衢州外地障礙物，填平了護城河，開始進攻衢州城城牆，到現在，已經進攻了兩天。
衢州城內有兩萬多清兵，還有上萬名拉來的民夫，而進攻衢州城的興夏軍約五萬人，其他還有數千人負責阻擊從江山縣來的援軍。
隨着一聲巨響，衢州城南面長達五十多米的城牆被炸塌，興夏軍蜂涌而入，與清兵在缺口入與興夏軍進入肉搏，雙方先是用火槍射擊，然後用手榴彈對轟，最後行進肉搏。同時，雙方的火炮都朝着缺口後面射擊，阻止對方的援兵。
雙方在缺口處投入了數千兵力，前仆後繼，一方誓要拿下缺口，一方誓要守住缺口，屍體在缺口處堆起一米多高，最後踏着屍體繼續戰鬥。
不過，隨着第二處城牆被炸塌，興夏軍與清兵再次在缺口處交鋒。
“轟、轟、轟！”雙方的火炮不停地轟擊着缺口後面，阻止援兵到來，現在，雙方的思想覺悟就體現出差距，清兵的不兵吃糧拿餉，興夏軍則具有崇高的思想，戰鬥力雖然差不多，但意志力卻相差甚遠，大火炮的轟擊下，清兵不敢冒着炮火增援缺口，但興夏軍卻敢，這些興夏軍在興夏會員的帶領下，前面戰士倒下，後面的戰士又衝下來，一波又一波，一旦無法抵擋，就拉響身上的手榴彈與清兵同歸於盡，清兵開始畏懼不前，當興夏軍的後續部隊到達缺口時，缺口處的清兵再也擋不住，開始潰逃，興夏軍趁機衝入衢州城。
衢州城內的清兵戰鬥意志還是不錯，在興夏軍攻入城內時，並沒有徹底潰敗，而是組織大軍反攻興夏軍，誓要把興夏軍趕出衢州城。
不過，城破後對清兵的打擊還是不小，隨着越來越多的興夏軍攻入城內，高喊繳槍不殺的口號，一部分清兵開始潰敗，但更多的清兵卻拒不投降，依然堅持戰鬥。
巷戰很殘酷，雙方一條街、一條巷地爭奪，雙方的屍體幾乎填滿了街道，這裡房屋太多，而且還有很多百姓，對於不擾民的興夏軍來說極爲不利。
眼見興夏軍傷亡太大，張無易下令把火炮拉入城內，凡是哪幢房裡有清兵就用火炮轟擊，如此一來，纔打壓住清兵的氣焰。
雙方巷戰打了兩天，隨着一條又一條街道被興夏軍佔領，清兵再也堅持不住，變成了潰敗。
守衛衢州的是衢州總兵李成善，眼見大勢已去，最後率領一萬多清兵從北門突圍，進攻衢州城，興夏軍採取的是三圍缺一的戰術，北方，就是缺一那一方，以免清兵無路可逃採取困獸之鬥。
不過，當清兵逃出城時，東方和西方的興夏軍立即開始合圍這一支清兵，李成善本來想帶着手下朝江山方向逃走，然後與王鷺的大軍匯合，但江山卻在西南方，眼見兩路興夏軍合圍，哪裡還敢去江西，帶着手下朝着北方亡命逃跑，一路上遭到興夏軍追擊，最後丟下大部手下，只帶着親衛和騎兵逃之夭夭，而那些步兵最終成爲了興夏軍的俘虜。
衢州一戰，兩萬多清兵傷亡五千多人，俘虜一萬二千多人，逃走兩千多，還有兩千多人不知所蹤。
而在前河、招賢一帶，五千興夏軍正遭到三萬多清兵的進攻，當王鷺知道興夏軍兵臨衢州時就派出清兵援軍，只是在興夏軍在前河、招賢一帶卻被五千興夏軍擋住，清兵猛攻興夏軍陣地，雖然迫得興夏軍不停丟失陣地，但興夏軍卻讓清兵進軍緩慢，還沒有等他們趕到衢州城，衢州城已經被興夏軍攻破，眼見興夏軍的援軍到來，王鷺無奈下命令撤退。
康熙三十一年十一月三日，張無易率領五萬興夏軍進逼江山，同一時間，魏懷遠率領十萬東路軍開始反攻，王鷺眼見不好，不得不撤走正在進攻的清兵，朝着江山撤退。
十一月十日，張無易率領的浙江興夏軍與魏懷遠率領的江西東路軍在江山城南面賀村會師，此時，興夏軍的兵力已達十五萬多，而王鷺率領的閩浙聯軍只剩下十萬，雙方的兵力徹底逆轉。
王鷺也沒有想到局勢變化如此快，從進攻方變成了被進攻方，最重要的則是興夏軍比清軍還多一半，要知興夏軍與清兵的戰鬥力一直以來就比清兵強，同樣的兵力，如果是野戰，興夏軍必定能擊敗清兵，而現在興夏軍比清兵還多，清兵已經處於劣勢。
所以，王鷺一邊在江山城附近修築工事，一邊向着安徽的索額圖求援，一邊派人向朝庭求援。