於是在十七日之後，第116師團和第四十七師團都加快了渡江的速度，頂着不斷被空襲，加速了渡江，並且在第十七日開始，先渡江的日軍部隊開始向前發動了攻勢。
重廣支隊也開始在十七日向維山展開了攻勢，可是重廣支隊註定要倒大黴了，尚未抵達維山，就開始遭到七十三軍第十五師的阻擊。
第十五師在維山一帶層層設防，重廣支隊打的是步步維艱，他們沒想到中國的這支部隊居然戰鬥力這麼強，往往都是死拼不退，迫使他們不得不停下來反覆集中優勢兵力進行突擊，才能向前繼續推進，結果讓他們進展十分緩慢，打到維山的時候，重廣支隊就足足花費了三天時間。
這比他們原計劃預定的時間晚了兩天，按照阪西一郎的計劃，重廣支隊在渡江之後，一旦開始發動進攻，必須要在兩天之內拿下楊溪橋，但是到了二十日重廣支隊還在維山跟中方的第十五師糾纏，距離楊溪橋還遠着呢。
整體上按照王耀武的佈置，中方的左翼主要由第七十三軍負責防禦，中路則由第一百軍負責防禦，右路由第七十四軍負責防禦，第十八軍則配合第七十三軍負責左翼，湯恩伯的第二十七集團軍的第九十四軍則負責湘西南一帶的防禦。
這麼一來整體情況就比較明瞭了，重廣支隊撞上的是第七十三軍的第十五師和第七十七師。
而第四十七師團主力則對上的是七十三軍的第七十七師和第十八軍的第十八師。
第116師團渡江之後，目標直指芙蓉山一帶，這一帶則是由第一百軍負責防禦，第16師團先碰上的是第一百軍的第三十六師和第十九師。
至於第三十四師團和第六十八師團則會分別對上中方的第九十四軍和第七十四軍。
第四十七師團的渡邊洋帶着傷率領着第四十七師團主力渡江之後，開始向石馬江、巨口鋪一線，向着順水橋和烏樹下一帶攻擊前進。
起初第四十七師團主力進攻還比較順利，但是當他們攻擊前進到了順水橋的時候，就被第七十三軍的第七十七師一部阻擋在了順水橋一帶，雙方在順水橋一帶展開了激戰。
此時七十三軍已經獲得了一批美式武器，另外前期準備彈藥也比較充足，重火力得到了空前的加強，不但獲得了一些山炮，而且還獲得了一批美式的八十一毫米迫擊炮，讓他們的部隊戰鬥力得到了大幅提高。
再加上此戰全國都十分關注，連美國人都十分關注這一戰，中方几乎精銳盡出，整整把五個王牌軍中的三個集中到了湘西，來打這一場會戰。
這三個王牌軍是王耀武的老班底第七十四軍，廖耀湘的新六軍和胡璉的第十八軍，可見此次中國對於湘西會戰的重視程度。
第七十三軍雖然不是王牌部隊，但是戰鬥力卻也不可小覷，兩個師的師長都不是軟蛋，第十五師師長樑祗六不說了，前期已經展現出了他驍勇善戰的本事。
第七十七師師長是唐生海，此人也是一名老將，打仗一樣不含糊，派出了一個團的兵力，駐守在順水橋和烏樹下一帶阻擊日軍。
第四十七師團在抵達順水橋之後，立即便遭到了早已在這裡等候他們的第七十七師的奮力抵抗。
七十七師利用之前構築好的即設陣地，在順水橋一帶死死的拖住了四十七師團，渡邊洋帶傷督戰，但是連攻數日也未能拿下順水橋。
此時重廣支隊在維山一帶，還在跟第十五師糾纏，始終無法突破第十五師的攔截，七十三軍還集中火力支援第十五師，兇猛的火炮給重廣支隊造成了不小的殺傷。
於是重廣支隊只能無奈的呼叫渡邊洋給他們提供支援，並且向他們靠近，但是渡邊洋這邊在順水橋一點，也打的是舉步維艱，根本騰不出手去增援重廣支隊。
而第116師團在渡江之後，立即便向芙蓉山一帶第一百軍的防禦陣地發動了攻勢，他們先是兵分三路，一路攻擊桃花坪一帶，那裡駐守着三十六師五十七團的一個連的兵力，日軍第一陣進攻，直接就被打退了回來。
於是鬼子又增派了一千多兵力，強攻桃花坪，那個連的中國官兵，面對十倍於他們的日軍，死戰不退，激戰兩日之後，無一人投降，全員戰死在了桃花坪一帶。
隨即第116師團又向芙蓉山外圍陣地巖口鋪發動了攻勢，可是在巖口鋪駐守了第一百軍第三十六師某團的一個連的部隊。
這個連的中國官兵，面對着數十倍於他們的日軍，同樣也選擇了死戰到底，他們連一共一百九十餘人，就靠着這一百九十餘名中國官兵，卻死死的擋住了第116師團一路人馬的進攻。
激戰數日之後，第116師團屢戰屢敗，始終拿不下巖口鋪這個小小的中方的陣地，反倒是死傷不輕。
第116師團三路兵馬，另外還獲得了獨立山炮兵第二連隊和一個工兵聯隊的助戰，但是卻在芙蓉山一帶，被中方的一個團的兵力，給死死的擋在了芙蓉山之下，撞得是頭破血流。
幾天下來日軍主力部隊在中路和右路的進攻悉數遇阻，完全沒有取得任何像樣的戰果，每一支日軍幾乎都碰上了堅決抵抗的中方的部隊，打的是十分狼狽。
於是不管是第116師團還是第四十七師團亦或是重廣支隊，都向阪西一郎彙報，說他們遭遇了中國軍隊的精銳主力部隊，這些中國的部隊全部都是全美械裝備，火力非常兇悍，使得他們進攻屢屢受挫。
這把阪西一郎給忽的一愣一愣的，覺得如同被兜頭澆了一盆冷水一般，果真應了前些天他的那個擔憂，這次芷江戰役果不其然遇上了大麻煩了。