8月4日，日軍第68、第116師團對衡陽第3師及預10師陣地發起總攻。5日，第58師團(從長沙增援到來)由衡陽西北投入戰鬥，猛攻第190師陣地。激戰至6日拂曉，第190師退守小西門及其以北的城垣。當日夜，日軍第58師團一部從城西北角突入城內，西南方面嶽屏山、天馬山等陣地亦爲日軍第116師團突破。
7日6時起，日軍集中炮火先對守軍進行了約2小時的炮火準備，爾後發起衝擊。守軍陣地大都被毀，官兵傷亡慘重，五桂山、接龍山等陣地先後失守。但第3師及預10師的官兵仍頑強抵抗。爲了抵抗日軍進攻，所以的馬伕、伙伕、文書、輕傷員等等，凡是能扛起槍的都上了前線。
第10軍此時尚有數千人，但因彈盡糧絕、傷員衆多，而日軍大兵壓境，全軍危險重重。苦守了四十多天，沒有了補給，吃飯都成爲了成績，陣地上幾處池塘的魚鳥，都被捕食一空，天空的鳥兒都不敢飛過衡陽上空。地裡的野菜早曾經連根都吃光了，油鹽也成爲了絕跡，很多兵士都是用清水煮菜根過活。
這類環境簡直是過活如年，對得救的盼望，由失望而失望，末了由失望而仇恨。8月7日凌晨，方先覺召開緊急集會，評論辯論三個計劃:是包圍?是苦守?是降服佩服以待機會?其時團以上的軍官大多都覺得傷員浩繁，彈藥奇缺，曾經無能力包圍，除已死殉國外，只有投降一途。
就在世人議論紛紛之際，方先覺覺得部下6000多人有三分之一以上的重傷員，義務其實嚴重。因而走入閣房偷偷哭了起來，集會無果而散。當天凌晨後半夜，第三師火線的一個團投降了日軍。8月8日凌晨，日軍用坦克從北門衝入，方先覺看到日軍坦克入城，命令開炮轟擊。但炮兵批示官張作祥含淚失聲說:“報告軍長，僅有兩發炮彈，已打進來一發，敵軍有10餘輛坦克，若何阻敵衝入?”
方先覺知大勢已去，因而敕令顧問孫鳴玉擬出末了一份電報，信心以死殉國。電報內容爲:我軍現已彈盡援絕，敵今晨自北門衝入，我已無可堵之兵生等信心以死報國，不負鈞座作育之至意，此電爲末了之一電，來生再見。學生方先覺、孫鳴玉、周慶祥、容有略，葛先才、饒少偉等敬仰。
就在世人走投無路，不知所措之時，主降的第三師師長周慶祥帶着日軍聯絡官來到了軍部，日軍聯絡官恭恭敬敬給方預言家敬了一個禮後說:“咱們司令官橫山勇請方軍長到司令部會談。”方先覺怒目而視，右手伸向腰間，意欲拔取手槍，而手槍已於昨晚被王副官等人取走，防止其自殺。
此時衆將士分爲兩派，主戰者說不能去，主降者則通通抓着方先覺的手喊:“事已至此，軍長你帶着咱們走一條活路吧!”
方先覺皺了皺眉，末了還是答應前去與橫山勇見面。方先覺以有前提降服佩服爲前提，避免部下被日軍屠殺。橫山勇則表示日軍會信守許諾，給予降服佩服的兵士以和平軍的身份對待。
8月8日，這是苦守衡陽的末了一天，也是最關鍵的一天，方先覺與橫山勇談好前提後宣佈降服佩服。日軍進城以後，第10軍被改編爲“先和軍”（取方先覺的“先”字和僞和平軍的“和”字），任命方先覺爲軍長。
此時，不願投敵的部分官兵“仍在城內進行抵抗”。由第四戰區抽調來援的第46軍等已進抵距衡陽8公里的二塘。衡陽失守後，第九戰區以一部兵力在衡陽以西攻襲日軍，主力撤至洪橋一帶。
日軍經休整、補充後，9月1日開始進攻:第3、第13、第40、第58師團向零陵、全縣，第116、第37師團向邵陽進攻。
守軍第37軍在常寧進行了較頑強的抵抗;第79、第62軍在白鶴鋪、大營市一帶，第74、第100軍在渣江、永豐一帶，稍事抵抗後再次後撤。
日軍於9月5日攻佔祁陽，7日攻佔零陵，13日佔道縣，14日不戰而佔領築有堅固國防工事的全縣。
至此，長衡會戰結束。衡陽保衛戰，被譽爲是東方莫斯科保衛戰，第10軍與近10倍之日軍血戰47日，以陣亡7400人，負傷8000餘人的代價，殺傷日軍5萬多人，敵我陣亡比例爲5:1，創造了世界軍事史上的奇蹟。
“先和軍”成立時，日軍舉行了一個儀式，日軍記者給方先覺和他的四位師長與日軍第68師團長、慕僚長等人照了一張合影。日軍離去後，方先覺對他的部下說：“來在屋檐下，誰敢不低頭，日本人只照得我們的相，卻照不到我們心。”
10月初，第3師師長周慶祥和軍參謀長孫鳴玉越窗而逃。方先覺看到他們逃跑後，日軍沒有加強防範，於是也開始尋找機會逃跑。他先派人與外界取得聯繫，然後在當地幫會勢力、國民黨軍統特務、國民黨地方游擊隊的共同幫助下，被囚禁達3個月之久的方先覺在僞衡陽縣自衛司令王偉能等人的幫助下逃出了日軍的勢力範圍，隨後又經第19師派隊護送，順利抵達了重慶。
方先覺逃回重慶，進一步說明，他投降日軍後的所作所爲是策略性行爲，是爲了應付日軍，因爲此事趙繼統多次在軍事會議上痛罵橫山勇。
日本大本營陸軍作戰部作戰課長服部卓四郎在《大東亞戰爭全史》一書記錄道：“這位投降的方先覺軍長被俘後態度僞裝得很巧妙，後來乘機逃脫，返回了重慶軍。”