韓復榘造成的爛攤子現在還得李宗仁來收拾，爲了遲滯日軍的進攻速度，使中國軍隊能夠有時間在徐州附近佈防，李宗仁命令孫桐萱擔任第3集團軍司令的職務，率領第3集團軍阻擋嘰谷廉介的第10師團，給第3集團軍全體官兵一次立功贖罪的機會。
佔領濟寧、汶上一帶的日軍爲第10師團第39步兵聯隊，其中該聯隊在濟寧城有3000餘人的部隊，各種口徑的火炮就有20多門，另外還有10輛配屬給他們作戰的戰車。日軍每天都以千餘人的規模出城，對濟寧城的周邊村鎮進行掃蕩，其氣勢是相當的囂張。汶上之敵約有500人，他們到是挺老實的，分駐在城關戒備，對汶上防守的甚爲嚴密。
孫桐萱命令第3集團軍展書堂師立即展開行動，由開河鎮方向強渡運河，於當日夜裡對汶上之敵發動攻擊。展書堂師一部由城西北上攻入城內，同日軍展開了激烈的巷戰。危急時刻，日軍從濟寧城派來了800人的援軍，在汶上城南的辛店遭到展書堂師的阻擊。第二天凌晨，日軍再次向汶上派出了500人的援軍，致使前來增援的日軍達到了1300多人。而盤踞在汶上城內的日軍，則還在拼命的做着抵抗。他們把機槍和火炮架在屋頂上，向中國軍隊進行猛烈的射擊，並利用工事堵塞街道，負隅頑抗。經過兩天以來的激烈交鋒，雙方均是損失慘重。戰鬥持續到了第三天，日軍又從泰安、寧陽抽調了大量的兵力，星夜兼程的向汶上趕來。由於展書堂師已同日軍激戰了3天，在這3天時間裡，展書堂師數次向日軍發起強攻，官兵傷亡已達2000多人，共斃敵500餘人，而且日軍的援兵日漸增多，在打下去將會給自己帶來更大的傷亡。於是，孫桐萱命令展書堂師後退到開河鎮，憑藉運河來阻擊日軍。
在展書堂師對汶上展開攻擊後，孫桐萱就密切的關注着濟寧城的日軍。等他們向汶上先後派出1300多人的援兵後，孫桐萱即令第3集團軍第22師向濟寧發動攻擊。22師的一個旅，外加炮兵兩個連，由濟寧西北的大長溝渡過運河，天亮之後就攻克了濟寧北關。22師乘勝發起總攻擊，與日軍激戰1天，消滅日軍一箇中隊，擊毀日軍戰車3輛，而此戰22師也付出了千餘人的代價。2天之後，日軍增援部隊開到，第22師被迫放棄進攻，奉命向開河鎮方向撤退。
中國軍隊的主動進攻讓嘰谷廉介很生氣，所以他決定親率第10師團主力，氣勢洶洶的向滕縣殺來。負責防守滕縣的是川軍孫震部，孫震命令川軍第122師死守滕縣，等待中央軍湯恩伯部前來增援。122師師長王銘章倉促上陣，手上只有2個旅的兵力，於是他急令第366旅火速回援滕縣。可是該旅在回援途中與日軍遭遇，被阻於太平邑附近，僅有1個營的士兵殺出重圍，到達了滕縣。
黎明時分，日軍一支300多人的騎兵分隊到達滕縣東郊，驕橫的日軍騎兵首先向城東的警戒部隊發動了進攻。早上8時許，日軍騎兵退出了戰鬥，此戰日軍騎兵分隊損失慘重，再也沒有了那驕狂不可一世的勁頭了。當天中午，日軍第10師團主力趕到了滕縣，他們首先呼叫空軍支援，對滕縣進行了長達1個小時的轟炸。王銘章在日軍開始轟炸後，就通過電話向部下們詢問傷亡情況，要求各部必須死守陣地任何人在任何情況下都不準後撤一步，必須作到與陣地共存亡。王銘章知道敵人將全力進攻滕縣，這裡將成爲自己爲國捐軀的最終之地。他對部下們說道：“吾決心死守滕城，我和大家一道，城存與存，城亡吾亡。”隨後他下令將城門堵死，全師所有官兵全部進入城內，與日軍血戰到底。
日軍下午3點開始攻城，守城的川軍士兵毫不畏懼，沉着應戰，他們隱蔽在街道的兩側，藉助民宅的掩護，堅決的阻擋着日軍的進攻。戰至天黑，122師已不足3000人了，守軍收縮了防線，集中力量堅守滕縣南城。就在滕縣陷於苦戰之時，援軍湯恩伯部的王仲廉師趕到臨城，其先頭部隊392團剛下火車，孫震就以滕縣軍情緊急，急令392團趕去增援，該團在滕縣城外的南沙河地區，遭到日軍的阻擊，經1個小時的激戰後便主動退出了戰鬥。等王仲廉率師主力到達後，得知滕縣正遭受日軍的圍攻後，便藉口機動作戰，將部隊向滕縣南面的山區開去，隨即王仲廉師虛晃一槍便掉頭開溜，致使滕縣完全陷入了日軍的包圍之中。
嘰谷廉介自從到達山東之後，幾乎未遇到任何敢於抵抗的中國軍隊。今日他在滕縣才遇到了這樣的軍隊，嘰谷廉介大感意外。等天亮以後，他下令調集精銳部隊，向滕縣的守軍發起了最後的攻擊。日軍以10輛戰車爲先導，掩護步兵衝鋒。滕縣守軍冒着日軍戰車的炮火，近距離與日軍展開了殊死的搏鬥。經過一個上午浴血搏殺，日軍最終還是沒有拿下滕縣。趁着戰鬥的間歇，王銘章給孫震發了一封電報，他在電報上說道：“決心死拼！以報國家！”
下午的戰鬥變得更加的殘酷，守城的川軍122石官兵英勇戰鬥，王銘章義憤填膺，親臨一線指揮戰鬥。激戰到下午5時，122師的官兵已不足千人，王銘章見援軍已毫無指望，就下令砸毀電臺燒掉密碼本，然後向日軍發起了最後的進攻。在城南十字大街附近，架在屋頂上的日軍機槍發現了他們，一陣彈雨過後，王銘章及其身邊的衛士全都倒在了血泊裡。王銘章身中數彈，子彈貫穿胸部，血流如注，但他仍然挺着身軀對部下們說道：“不要管我，繼續向鬼子進攻！”說完就停止了呼吸。王銘章陣亡以後，剩餘的川軍官兵繼續與日軍戰鬥着，直到天亮以後，滕縣城內才安靜了下來。川軍122師的全體官兵，自師長王銘章以下，全部壯烈殉國。
滕縣，3天3夜悲壯空前的大血戰，揭開了徐州會戰的序幕。滕縣之戰以川軍巨大的犧牲，爲第5戰區贏得了時間，爲保衛徐州創造了有利條件，爲鞏固武漢立下了不朽的功勳。第5戰區司令長官李宗仁褒獎道：“滕縣一戰，川軍以寡敵衆，不惜重大犧牲，阻敵南下，爲保徐州。這一戰，打出了川軍的威風，寫出了川軍抗戰史上光輝的一頁。”
蔣介石也爲王銘章的壯舉所感動，他親赴武漢飛往徐州。在第5戰區長官部內，蔣介石爲死難的川軍122師全體官兵主持公祭，在悼詞裡蔣介石充分褒揚了川軍官兵的愛國熱情和捨身取義的精神。在會後，蔣介石表示將把122師師長王銘章的事蹟記錄下來，然後供奉在忠烈祠內，供後世國人瞻仰與憑弔。最後他又接見了川軍第22集團司令孫震將軍，勉勵川軍將士要繼續英勇殺敵，並撥給孫震法幣20萬元以資獎勵。
嘰谷師團被阻在滕縣長達3天，而且兵力又受到了一定的損失。經過幾天的休整後，見第5師團還被阻擋在臨沂地區，嘰谷廉介便有些不耐煩地下令向臺兒莊地區攻擊前進。他想孤軍拿下臺兒莊，在那裡等待着第5師團的到來，好用實際行動來羞辱一下這支被陸軍部稱爲陸軍之花的部隊。嘰谷廉介的輕狂孤傲由來已久，他骨子裡對中國軍隊的輕視已經根深蒂固了，雖然在滕縣讓他遭受了挫折，但這並沒有引起他的重視。這次臺兒莊之戰，就註定成了他人生中的一次重要挫折。
嘰谷師團先頭部隊千餘人，在重炮和戰車的支援下，向臺兒莊發起了攻擊。由於川軍122師的死守滕縣，爲李宗仁贏得了一些時間。孫連仲的第二集團軍池峰城部已經作好了準備，他們在臺兒莊運河的的北岸佈防，構築工事，實行陣地固守，阻敵南下。結果嘰谷師團的先頭部隊與西北軍第31師發生了激戰，在西北軍的奮勇反擊下，他們沒有沾到任何的便宜，就被池峰城所率領的第31師趕出了臺兒莊。等嘰谷師團的大隊人馬趕到後，日軍纔開始進行猛烈的進攻。戰鬥激烈時，第2集團軍的陣地上爆炸聲響成一片。炮擊過後，大隊的日軍在戰車的掩護下，像潮水一樣朝第2集團軍的陣地上涌來。敵人將我軍在臺兒莊外圍的陣地佔領後，就停止不前了，他們再次動用飛機和重炮向臺兒莊主陣地上傾瀉着彈雨，企圖用步步爲營的策略來逐步的蠶食中國守軍的陣地。