新任日本陸軍大臣板垣徵四郎當即向倭皇裕仁報告，強烈主張發動徐州戰役。他說道：“對於集中在徐州方面的中國軍予以痛擊，可以收到挫傷敵軍抵抗意志的巨大效果。因而，陸軍準備實施對徐州之敵的殲滅戰，由於這些軍隊都是國民政府軍的精銳主力，並且已經處於孤立的狀態。我大日本皇軍應不失時機，以強大的兵力，以宏大的戰鬥規模，使之一舉徹底殲滅這些中國軍。臣下認爲，只要達到了殲滅這股敵軍的戰略企圖，就能使武力解決中國問題變得簡單，就能促使蔣介石政權屈服投降，邁出決定性的一步，亦可挽回我大日本皇軍在臺兒莊所造成的不良影響。”
板垣徵四郎的話讓倭皇裕仁感到喜出望外，他也認爲這是打擊蔣介石政權的大好時機。於是倭皇裕仁當即決定，圍殲徐州的中國軍隊。並要求板垣徵四郎必須作到，陸軍此次進攻，一定要取得巨大的戰果，務必不使徐州地區50個師的中國軍隊一人漏網，一定要把他們全部的、乾淨的、徹底的全殲。用鐵一樣的事實來向國人證明，大日本皇軍是永遠不可戰勝的。
板垣徵四郎回到陸軍部以後，決定爲求速戰速決，不失這千栽難逢的好戰機，於當天向日本華北方面軍司令多田俊大將，華中方面軍司令田俊六大將（原司令官鬆井石根因“南京大屠殺”造成的國際影響，以被勒令退出現役），下達了大本營陸軍部第84號作戰命令，命令如下：1、大本營堅決要求擊破徐州之敵。2、華北方面軍司令官應以有力之一部擊破敵軍防線，佔據蘭封以東隴海線以北之地區。3、華中方面軍司令官應以一部佔領南津浦路及廬州地區......板垣徵四郎爲確保徐州之戰的勝利，於2日後，派出了以陸軍部作戰科長橋本羣少將等參謀們組成的“大本營派遣班”，前往徐州前線，對參戰部隊就地進行“戰術指導”。
侵華日軍華北方面軍和華中方面軍，集結了精銳部隊13個師團，大約有30萬人馬，配備了這種重武器，輔以戰機數百架，採取南北對進，側翼迂迴的戰術，分成6路大軍向徐州包抄而來，企圖以速戰速決的手段圍殲中國軍隊主力于徐州地區。
日軍分南北兩大作戰兵團，向徐州地區掩殺而來。南路兵團爲華中方面軍所轄的第9、第13、第116、第106四個主力師團。北路軍團由華北方面軍所轄的第5、第10、第14、第16、第110、第103、第104、第105等八個主力師團。南路日軍的指揮官爲羽田源之助中將，北路日軍的指揮官爲西尾壽造中將。另有日軍第4師團作爲預備隊來使用，這次日軍對圍殲徐州地區的中國軍隊報以了極大的信心。
此時，蔣介石正一頭扎進擴大宣傳的熱浪中，沉浸在臺兒莊大捷的興奮裡，對日軍即將展開的進攻還尚未十分了解。於是他對徐州地區的各部隊要求道：“各部隊要充分發揚臺兒莊血戰的光榮精神，堅決的分頭阻擊來犯之敵，通過徐州會戰再給日軍部隊以重創。”李宗仁可不敢有絲毫的掉以輕心，他針對日軍的進攻態勢，把60萬大軍分成了5個作戰兵團。1、淮南兵團：指揮官爲李品仙，下轄第20、第10、第48三個軍。2、淮北兵團：指揮官爲廖磊，下轄第31、第7、第77、第68四個軍。3、魯南兵團：指揮官爲孫連仲，下轄第30、第42、第51、第41、第44、第60、第22、第75九個軍。4、隴海兵團：指揮官爲湯恩伯，下轄第57、第89、第69三個軍。5、戰區直屬軍團：指揮官爲李宗仁，下轄第12、第55、第32三個軍。未編組之部隊皆爲戰區預備隊，可隨時奉調開赴前線。
北路日軍首先發起了攻擊，孫連仲的兵團在峰縣、向城、郊縣等地抵抗日軍的進攻。緊接着，張自忠等部在臨沂、大埠、北勞溝等地也與日軍發生了激戰。北路日軍從濮陽分出一部，度過黃河天險後，進入魯西地區，迅速的攻佔了鄆城、菏澤、金鄉等地。該地區雖有孫桐萱、龐炳勳、商震等部，但在廣闊的平原上，部隊無險可守，日軍得以快速的推進，如入無人之境一樣快速向徐州殺來。而南路日軍也開始北上了，他們先後佔領了徐州南面的龍元、蒙城、宿縣，並攻陷了徐州西面的黃口車站，包圍並切斷了徐州西南面的退路。至此，日軍已經對徐州完成了包圍的態勢，更多的日軍正從四面八放朝徐州壓來。
武漢，軍委會的作戰室裡，蔣介石瘦長的身軀晃了幾晃。現在的他總算是明白了，自己當初的決定是多麼的可笑。如今日軍的意圖是要圍殲他的主力，圍殲他的60萬大軍。這時，他那發熱的大腦終於清醒了過來，他開始感到了渾身發冷。蔣介石急忙叫侍從把軍委會的大員們叫來，趕緊商量眼下的對策。日軍目前的企圖已經暴露，很顯然，再守徐州無異於飛蛾撲火。蔣介石覺得自己不能聽任日軍擺佈，他對陳誠等人說道：“若徐州這60萬大軍被日本人吃掉，娘希匹，我還拿什麼抗戰？！”陳誠等人均贊同道：“委座所言極是。”於是蔣介石一邊踱步，一邊焦急的口授給李宗仁的電令：“第5戰區司令長官李宗仁，軍委會着令你部力避與敵決戰，撤離徐州，火速突圍......
1938年5月下旬，各路大軍按軍委會指定的路線，全部安全撤離徐州，到達皖西、豫南一帶。奉蔣介石之命作爲全軍後衛，掩護主力轉移的第68軍，在完成掩護任務後，放棄徐州城，巧妙的跳出了日軍的包圍圈，到達了安全地帶。5月底，各路日軍到達徐州，發現徐州早已是一座空城了，先前雲集在此的60萬國民黨軍隊，早已失去了蹤影。
徐州大撤退是李宗仁創造的又一個奇蹟，是國民黨在抗戰正面戰場上的又一個傑作，它的成功絕不亞於臺兒莊大捷，它使日軍戰略決戰的企圖又一次破滅了，爲後來的武漢大會戰保存了實力，對以後的抗日持久戰和奪取最後勝利產生了深遠的影響。
自徐州陷落以後，北起東北三聲南到江蘇徐州，大片國土先後被日軍佔領了。徐州的淪陷讓國人們從臺兒莊大捷的興奮中清醒過來，讓國人意識到中國的抗日戰爭是極其漫長的而艱難的，至少，目前情況下國軍是很難將日蔻趕出中國的。就在國人對抗戰前景感到悲觀失望的時候，一直以來在國民黨內部產生了“速勝論”和“亡國論”。但是，抗戰10個月以來的實踐證明“亡國論”和“速勝論”是完全錯誤的。抗日戰爭的發展前途究竟如何？一時間成了國人最關心的問題。針對這一現象，中共中央毛主席發表了著名的《論持久戰》。他在書中初步的總結了全國的抗戰經驗，批駁了社會上盛行的種種錯誤觀點，系統的闡明瞭中國的抗日持久方針。從而有力的批判了當時國內存在的速勝論和亡國論，爲中國人民的抗日戰爭指明瞭正確的方向。
毛主席指出：“中日戰爭不是任何別的戰爭，乃是半殖民地半封建的中國和帝國主義的日本之間，爆發的事關國家、民族生死存亡的戰爭。”日本是一個強大的帝國國家，它的侵略戰爭是退步的、野蠻的，中國的國力雖然比較弱小，但它的反侵略戰爭是進步的、正義的。日本戰爭能力雖強，但它是個小國，軍力、財力都感缺乏，經不起長期戰爭的拖累。而中國則是一個大國，地域廣闊人口衆多，能夠支持長期的戰爭。日本的侵略行爲損害並威脅其他國家的在華利益，因此得不到國際社會的認可。而中國反抗侵略的戰爭卻能獲得國際社會的同情與援助，有了這些同情與援助，中國反抗侵略的戰爭就能長期的堅持下去。最後他得出結論：“中國會亡嗎？”答覆：“不會亡，最後的勝利是永遠屬於中華民族的。”那麼再問：“中國能夠速勝嗎？”答覆：“不能速勝，抗日戰爭是持久戰。”他還指出這場戰爭必將經歷三個階段：1、抗戰初期的戰略防禦階段。2、抗戰中期的相持階段。3、抗戰後期的反攻階段。其中第2階段是整個戰爭的過度階段，將是抗日戰爭中最艱難的時候，要準備付出較大的犧牲來度過這段艱難的過程。但只要度過了這一階段，中國的抗日戰爭必將迎來勝利的曙光！
“論持久戰”一經發表之後，立刻在全國引起了轟動。全國各大報紙紛紛轉載這篇文章，讓全國民衆的抗日熱情再次的高漲起來，一掃悲觀和絕望的情緒。