1938年初，隨着華北、華中的得手，日軍大本營又把貪婪的目光投向了華中重鎮--徐州。這裡是津浦鐵路和隴海鐵路的交匯點，是中國鐵路在華中地區的樞紐，歷來爲兵家必爭之地。日軍瞄向徐州，意圖相當的明確，就是要打通津浦鐵路，解除日後進攻武漢的右側威脅，再由隴海鐵路西上，切斷平漢線，一舉拿下武漢，逼蔣介石投降。
日本人的如意算盤撥弄得嘩嘩作響，此舉若是成功，將給國民政府帶來致命的打擊，極有可能會打垮蔣介石的抵抗意志，最終採取與日本人合作的態度。日本人對幾千年前中國兵家鼻祖孫子的一句話領悟得相當深刻：“不戰而屈人之兵。”退一步說，即使頑固的蔣介石不投降，失去武漢，也意味着他將被趕入西南大山中，國民政府也隨之降爲中國的一個地方政權，那時蔣介石政權還能有多少權威？中國的半獨立政權可多得是，蔣介石爲各省軍閥注目的焦點，讓他下臺，必能在各省得到熱烈擁護。到時候，日本人在另起爐竈，扶植第二個大滿洲帝國。
中國的農曆春節過後，日軍大本營撤消了華北派遣軍的編制。從國內陸續調來了幾支精銳師團，組建了新的華北方面軍。由多田駿代替了寺內壽一出任方面軍的司令官，由笠原幸雄代替了板垣徵四郎出任參謀長。部隊下轄第1軍（8師團、第14師團、第20師團、第10師團）、第2軍（第4師團、第15師團、第108師團）。另外方面軍直轄第5師團、第109師團、戰車第3師團、騎兵第4旅團、獨立第11旅團、獨立第14旅團，總兵力達到了20萬人以上。
蔣介石處決了韓復榘，要與日本人在戰場上再決雌雄。但京、滬大血戰後，國軍部隊死傷慘重，現下早已是無兵可調了。迫不得已，他只有把川軍、東北軍、西北軍和山東軍這些雜牌部隊投入戰場，他手上也只有這些部隊了，本着死馬當作活馬醫的原則，蔣介石把這些部隊交到了李宗仁的手上。眼見部隊沒有了指望，蔣介石就只能把希望放在李宗仁的身上了，他希望李宗仁能在徐州地區創造一個軍事史的奇蹟。
剛剛進駐徐州的李宗仁非常明白蔣介石的用心，蔣介石真是太精明瞭，即使被日本人窮追猛打到這一步，也沒打算放過李宗仁這個與他爭鬥了十數年的地方實力人物。自張學良和他的東北軍被老蔣消耗掉以後，李宗仁的桂系便成了老蔣統一中國的最大障礙，雙方打打和和的十幾年，一直都是勾心鬥角的貌合神離。直到抗戰爆發，桂系宣佈支持政府抗日後，蔣介石纔對桂系稍稍的改變了態度。
日軍沒給李宗仁太多的準備時間，新上任的多田駿就組織了4個師團的兵力向徐州方向撲來。日軍第10師團（嘰谷師團），在其他幾個師團尚未就緒時，就急不可待的殺了過來。在張八嶺、岱山一線被西北軍的第31軍頑強的擋住了。日軍利用飛機、重炮做掩護，強度池河。第31軍與日軍血戰了10天，後接到李宗仁的命令，讓開正面，佔領兩側山地，放日軍第10師團過來。第10師團先後攻陷蚌埠、定遠、懷遠、鳳陽，並開始強度淮河。
負責守衛淮河防線的是東北軍于學忠的51軍，在與日軍激戰3天后，終於攔下了日軍第10師團的腳步。考慮到51軍已連戰數日，部隊損失巨大，李宗仁急令西北軍張自忠的第59軍前去增援51軍。張自忠自打“蘆溝橋事變”後，就憋着勁要和日本人血戰一場，好以此來一雪前恥。有了張自忠的支援，51軍和59軍合力將日軍阻擋在了淮河岸邊。
與南路日軍相比北路日軍進展的十分困難，因爲有了韓復榘的前車之鑑，所以士氣很高。這令南下的日軍遭到了頑強的抵抗，讓貪功冒進的第5師團（此時，板垣已奉調回國，出任日本陸軍大臣）舉步爲艱。第5師團在日本陸軍中素有“鋼軍”的稱號，而第5師團下屬的第21旅團更是號稱“陸軍之花。但是此次在臨沂地區，他們做夢也想不到會嚐到失敗的滋味。第5師團第21旅團有3個步兵聯隊，1個炮兵聯隊，1個騎兵大隊，輜重，工兵部隊以及**舉的僞軍，共約2萬來人，向臨沂地區突進，沿途遭到龐炳勳第3軍團、沈鴻烈部的節節抵抗，第5師團第21旅團被阻擋在湯頭鎮、尤家莊一帶，距離臨沂城只有10公里。
爲了粉碎日軍在臺兒莊會師的戰略企圖，坐鎮徐州的李宗仁南線布兵於淮河兩岸，北線布鎮於騰縣一帶，分別阻擊津浦線上的南北之敵。地處北線的臨沂城，歷來都是魯南的軍事重鎮，距離臺兒莊有90公里。臨沂城一旦失守，臺兒莊也就難以維繫了。要挫敗第5師團、第10師團會師臺兒莊，進而攻擊徐州的作戰計劃，就必須把第5師團死死的擋在臨沂地區，並給第5師團予以重創，因此臨沂一戰就變得尤爲重要。守衛臨沂的是龐炳勳的第3軍團，雖然名義上是軍團編制，但實際上龐炳勳的手上只有5個團，另外就是沈鴻烈部的3個地方保安團。面對日軍兇猛的火力。龐炳勳的第3軍團傷亡極大，他連連向李宗仁發來求救電報，第5戰區參謀長徐祖貽來赴臨沂指揮，同時，李宗仁緊急從張自忠的59軍抽調部分兵力前來增援臨沂。
張自忠將軍親率4個團的援兵，經過一晝夜的急行軍於黎明時分趕到了臨沂。龐炳勳當即要求張自忠接替臨沂城防。但張自忠將軍認爲與其消極防禦，不如以攻爲守，擊敵側背，以解臨沂之危。龐炳勳覺得這個計劃值得一試，就欣然同意了張自忠的計劃。張自忠指揮部隊暗渡沂水，以2個團的兵力向日軍發起決死衝鋒。第5師團第21旅團突遭襲擊，頓時就停止了對臨沂的進攻，讓龐炳勳的第3軍團獲得了短暫的喘息。張自忠將軍原本就是西北軍裡的一員猛將，在加上他報仇心切，因而他不顧犧牲，率領部隊發揚西北軍的大刀精神，與日軍展開了激烈的肉搏戰。
戰至天黑，戰區長官部認爲張自忠部已損失待盡，建議張自忠部撤出戰鬥。這一刻，李宗仁已被張自忠的英勇所感動，他覺得不能讓張自忠部損失待盡，因此決定用自己的桂系部隊替換下了張自忠部。誰知張自忠已經殺紅了眼，並沒有執行他的命令。同日，龐炳勳軍團也組織部隊對日軍發動了反攻，張、龐兩軍從前後夾擊日軍，經過一夜的激戰，先後佔領尤家莊、傅家屯一線。天亮後，兩軍再次發起攻擊，將第5師團第21旅團趕出了臨沂地區。
此次作戰，張、龐兩軍共約傷亡3000多人，但日軍亦被消滅1000多人，**舉的僞軍被打死打傷3000餘人。在這次戰鬥中，國軍部隊擊斃了日軍第21旅團第11聯隊長野裕一郎大佐，還有聯隊參謀年田少佐。此次戰鬥的勝利，不但打疼了第5師團，也震驚了武漢的蔣介石。他對張、龐兩軍的戰績感到異常的高興，蔣介石大筆一揮，親自下達了對張、龐兩軍的嘉獎令，號召全軍部隊都要向張、龐兩軍學習。蔣介石對張自忠更是大加稱讚，他高興的對侍從們說道：“好漢到什麼時候都有種，這張自忠一上戰場，就用日本人的血爲自己洗刷了恥辱。”65
臨沂之戰，張自忠用實際行動征服了國人。國人一改過去斥之爲漢奸的態度，轉而向張自忠將軍投去了崇敬的目光。但真正被張自忠將軍感動的，還是第5戰區的官兵們。首先是這次被困臨沂的龐炳勳將軍，當他向李宗仁求援時，聽說援兵是張自忠的59軍，龐炳勳的心裡就直打鼓，心說怎麼派他來了，看來這下我第3軍團是在劫難逃了。原來張自忠和龐炳勳早就認識，當年他們都是馮玉祥的部下。只是當年有過一些誤會，致使這麼多年以來，就從沒聯繫過。這次，張自忠不計前嫌，拼死相救，這讓龐炳勳的心裡感到了極其的慚愧。他心悅誠服的說道：“自忠將軍不不計前嫌，爲人光明磊落，關鍵時刻，冒死來援，真是讓我龐某人感到汗顏啊！”
雖然張、龐兩軍打退了第5師團的進攻，但只是暫時緩解了第5戰區的壓力。津浦路正面嘰谷廉介的第10師團卻異常的囂張，他認爲當面的中國軍隊不堪一擊，攻佔徐州簡直就是易如反掌，便不顧其他友軍部隊的配合，孤軍向徐州地區突進。