阿南惟幾吸取了第一次長沙會戰的教訓，並沒有一上來就投入大量的兵力進攻湘北主戰場，而是最先向新牆河以北的大雲山地區發動進攻，以試探中國軍隊的虛實。
大雲山位於湖南北部岳陽市所屬的岳陽縣和臨湘市交界處，屬幕阜山西北支，自古爲江南名勝，道家洞天，志稱盤旋七十二峰，這大雲山往南數公里便是長沙門戶新牆河,自武漢失守之後，這裡就成了第九戰區的重要前進陣地之一。
由於大雲山地理位置的特殊性，易守難攻不說，距離日軍的勢力範圍還比較近，於是薛嶽就把這裡當做第九戰區的一個前沿觀察哨，並且派重兵駐守這裡。得知日軍準備發起第二次長沙會戰，第九戰區緊急向大雲山增派了守軍。
除了山頂由第4軍1個加強營守備以外,其西側還有第4軍第102師和第306團,東側爲第58軍新編第11師的1個步兵營，總兵力約爲五千八百餘人，另外這裡還駐有一個加強機槍連。鑑於日軍活動頻繁，第九戰區司令部命令第4軍立即對對面的日軍進行密切監視，必要時可以派出小部隊向日軍後方襲擊,破壞其交通設施。
大雲山緊靠新牆河戰場，第四軍的小部隊襲擾令日軍極爲不安，日軍第11軍司令部經過商議，認爲大雲山的存在已經嚴重威脅到了大日本皇軍的側翼安全，爲了保證“加號作戰”計劃的順利實施,掩護第十一軍主力向新牆河以北集結,阿南惟幾命令原在岳陽地區擔任守備的第6師團對大雲山進行掃蕩,解除這一側後威脅。
1940年11月4日晨,日軍第6師團第23、第45聯隊在航空兵支援下從忠坊向大雲山北側雁嶺、詹家橋展開進攻,遭守軍阻擊後向東南側迂迴;其第13聯隊向大雲山西側進攻,與守軍第102師發生激戰。
同時、第九戰區第27集團軍還偵察到鄂南咸寧地區日軍第40師團有向湘北調動的跡象,作爲老對手。他們對日軍的一舉一動還是比較清楚地，因此判斷第40師團背上肯定是爲了與第6師團換防,日軍向大雲山的進攻,是換防前的例行攻勢。
爲了確保大雲山方向的安全,11月4日上午十點整，第九戰區命令第58軍派出部隊協同第4軍作戰,並命令第20軍準備從通城向西側擊日軍,乘日軍換防時給以打擊。
對於日軍第6師團，第九戰區向來是比較忌憚的的。這個日軍師團日本陸軍的一個甲種師團，是日軍在二戰爆發前17個常備師團之一，裝備較精良，戰鬥作風野蠻彪悍，儘管在歷次與中國陸軍的對陣中屢次遭到重創，但是其戰鬥力卻並沒有下降多少。
這次第六師團主力抵達大雲山東側之後，便迅速向東側的守軍展開猛烈進攻,大雲山東側的守軍僅有第58軍新編第11師的1個步兵營，兵力不足400人，面對日軍第六師團的進攻，守軍雖奮力抵抗,但因日軍兵力、火力均處於優勢,堵擊無效,乃棄守大雲山陣地。
日軍在佔領東側陣地之後。以此爲據點。向山頂以及西側陣地發動猛攻。甚至還調來航空兵協同作戰。激戰一晝夜，守軍損失慘重，但是讓然堅守陣地。
次日。第六師團主力一部在裝甲車的掩護下向大雲山西側陣地發動進攻，然大雲山海拔雖然不高，但是地勢卻很險峻，日軍的裝甲車只前進了不到300米就被阻於陣地前沿，在損失了20餘輛戰車之後日軍不得已停止了進攻。
然而日軍第六師團師團長神田正種中將對於第六師團的表現極爲不滿，當場勒令一個進攻不力的小隊長剖腹自盡，同時授權前線部隊可以使用特種彈。儘管在日本政府與陳鋒所部簽訂的協議中，雙方在戰場上都嚴禁使用特種彈，但是這個協議也就是在北方執行的還算比較徹底，日軍一般不敢使用毒氣彈和其它髒彈。以防遭到陳鋒所部的報復。
但是在華中華南地區，這個協議就沒那麼管用了，雖然不到萬不得已日軍也不會使用毒氣彈，但是由於缺乏監督，一旦進攻不順利，日軍還是會鋌而走險，故態萌發的。
對此，不管是國民政府還是陳鋒都是一點辦法也沒有，日軍一旦決定使用毒氣彈，爲了不被抓住把柄，往往會不惜一切代價消滅證據的，所以即便是知道日軍使用毒氣彈，也很難收集到他們的證據。
在毒氣彈的協助下，日軍終於攻佔了大雲山西側的陣地，鑑於日軍來勢兇猛，第四軍不得已只得命令山上的部隊後撤，棄守陣地，大雲山失守。
大雲山只是一個前沿據點，雖然極爲重要，但是距離主戰場比較遠，根本不適合長期駐守。所以日軍攻佔這裡之後並沒有派部隊把守，而是命令工兵部隊對山上第九戰區修建的工事進行了徹底爆破，隨後日軍便撤離了大雲山。
第6師團主力完成掃蕩任務後,便向桃林方向集結,準備執行下一階段關於進攻湘北的作戰任務。但是其第13聯隊卻在甘田、團山坡附近被中國第102師和第59師一部所阻,陷於苦戰。
與日軍第13聯隊作戰的這兩個師都是第27集團軍的骨幹部隊，這個第27集團軍戰鬥力雖然不是很強，在國民政府所有的40多個集團軍裡面只能算是中等偏下，但是這個集團軍繼承了川軍一貫的硬氣，打仗頗爲勇猛。
而第二十七集團軍總司令又是一個身經百戰的老軍閥，此人雖然在所有軍閥當中名聲不佳，但是抗戰之決心卻是川軍中最爲堅定的。1937年全面抗戰爆發後，楊森就請命率部徒步行軍出川抗日，編屬於老虎將薛嶽的第十九兵團，後來薛嶽升任第九戰區司令，其部即歸屬於第九戰區，楊森所部也就被劃歸了第九戰區。
楊森在此期間浴血抗日，立下了多次戰功，華中地區所有的大戰幾乎沒有他不參加的，他率領的這支川軍參加了淞滬會戰、武漢會戰、長沙會戰等多次戰役。其麾下的部隊雖然裝備不足，缺乏彈藥、給養和醫療設備，大冬天士兵腳上穿的還是草鞋。
但是楊森部剛出川即赴上海蔘加淞滬抗戰，全軍在大場血戰5晝夜，守住了陣地，直到韋雲淞的31軍和葉肇的66軍接防。而所率川軍18000餘人，傷亡高達7000餘人，楊森所屬之部是淞滬會戰中除裝備德國武器的王牌師中央軍88師、稅警團直屬隊外最能打的部隊，被評爲淞滬戰場最能打的5個師之一，蔣介石立即下令優先給予補給換裝。
這次會戰雖然說是薛嶽作爲總指揮，但是抗敵的思路卻是楊森與羅卓英提出的，所以楊森極爲重視，他可不願意自己再被老蔣點名痛罵了，那句“輕棄名城，騰笑友邦”的評語時刻縈繞在他心頭。
在得知第四軍將大雲山主陣地丟了之後，楊森當即電告第四軍軍長歐震和第59師張德能：“大雲山可以丟，但是第四軍決不能撤，不但不能撤，還得想辦法拖住日軍的腳步，爲戰區部署爭取時間，拖住日軍第六師團一個星期，第四軍可記一功，反之歐震和張德能自己和軍委會解釋吧！”
在楊森的高壓下，第59師以及配合作戰的102師死死咬住日軍第13聯隊的尾巴，雙方打得不可開交。第13聯隊加以配合作戰的炮兵第四大隊合計4600餘人被阻於甘田、團山坡一線，面對一萬四千餘中國/軍隊的圍攻，日軍倍感力不從心，不得已只得給神田正種中將發報，請求師團部給予作戰指導。
接到第13師團的求援電報之後，神田正種不敢怠慢，在經歷過多次帝國陸軍被成建制消滅之後，日軍的高級將領們現在也變得謹慎了，之前那種不可一世的狂躁不見了，他們終於把中國人當成了真正的對手看待，不知道中國.軍隊此時該是高興呢還是悲哀呢？
第六師團主力立即前往甘田、團山坡一線增援第13聯隊，趁此機會，第58師收復大雲山陣地,而此時第九戰區向大雲山增援的第37軍第60師亦已到達戰場,第27集團軍遂命新編第10師、第59師、第60師在日軍第六師團主力趕到戰場前包圍並殲滅當面日軍第13聯隊,定於次日拂曉開始攻擊。
然而,正當這3個師與第13聯隊激戰時,由咸寧西進的日軍第40師團重鬆支隊取小道趕到甘田,將包圍圈中的第13聯隊救了出來，然後向草鞋嶺撤走。隨後,中國軍隊向草鞋嶺方向追擊，並且對重鬆支隊展開進攻,雙方在草鞋嶺的狹小區域內互相爭奪,傷亡均重，戰局隨即陷入膠着狀態。