1938年春季，日寇的精銳部隊第十師團的一個旅團等，企圖沿津浦線南下攻佔徐州。當時國民黨第五戰區司令長官李宗仁負責指揮徐州一帶戰事。蔣介石于徐州方面告急時，也認爲在戰略上有加強第五戰區之必要，乃倉促檄調第一戰區駐河南補充訓練尚未完成的湯恩伯軍團與孫連仲第二集團軍星夜增援。
第五戰區長官部判斷，恃戰勝餘威、驕狂分萬的磯谷師團長一定不待蚌埠方面北上敵軍的增援呼應，便要直撲臺兒莊，以期一舉攻下徐州，搶先奪取打通津浦路的大功，故調兵遣將，張網以待。除以孫連仲部正面迎敵外，又派湯恩伯潛行南下拊敵之背，協同孫部包圍日軍而殲滅之。
3月19日，孫連仲接到命今後，立即指揮部隊東調，指定參謀人員先行赴徐州以北地區選定前進指揮所。同時命令池峰城第三十一師進駐臺兒莊及其附近地區，構築工事，掩護他部陸續集中。
第二集團軍完成後的佈防概況是：臺兒莊城寨由第三十一師一八四團防守。該師其他部隊一部分防守臺兒莊以西七裡之範口村及以東約三裡之官莊，準備協同臺兒莊核心之作戰。另一部分沿大運河南岸佈防。
池峰城在城寨外指揮。第二集團軍的第二十七師、第三十師和第四十四旅陸續集結於賈汪東北和臺兒莊以南地區。總司令部設在距臺兒莊城寨五公里處。
3月22日，池峰城師進駐完畢。次日，由嶧城南下之敵進犯臺兒莊，中國軍隊還擊，形成對峙狀態。劉蘭齋率騎兵從臺兒莊北門出擊日軍，乜子彬旅長率第一八三團跟進，在康莊與日軍騎兵遭遇，出擊部隊邊戰邊退，誘敵深入。
第一八三團在獐山與日軍激戰至晚。同日下午，敵機多架在臺兒莊一帶低空飛行，進行偵察掃射、一場喋血大戰即將展開。
24日晨，日軍三個聯隊約五六千人，在飛機、坦克、重炮配合下，向臺兒莊猛撲。臨戰之際，孫連仲親赴前線調令下屬：“面臨強大的敵人，我們只能依靠地形擋住它，再利用夜裡的小突擊拖住它。沒有命令，決不撤退。”
戰鬥中，日軍摧毀了臺兒莊北城牆，從突破口衝了進來。池峰城親率敢死隊與敵拚殺。李宗仁聞報，明令以十萬銀元獎賞。但敢死隊員一致表示：“只要抗戰，不要銀元！”
當晚，池峰城身先士卒，率隊夜襲敵陣，在第一八六團配合下，殺出一條血路，將從突破口衝入日軍全部消滅。此後連續數日，敵軍仗其優勢武器裝備，利用白晝作戰。中國軍隊堅決抵禦，同時摸黑夜襲，消滅敵人，雙方展開了激烈的拉鋸戰。
29日凌晨，孫連仲召集軍、師、旅長及炮兵團長會議，重申固守臺兒莊之志。並指出：當面之敵似在待援中，我以鉗形攻勢當可聚殲之；第三十一師仍須獨自爲戰，以利外線組織戰鬥。
戰鬥延續到4月3日，日軍攻佔了臺兒莊的東南門，侵入城寨內百米，同時擲催淚瓦斯彈。臺兒莊三分之二的地方爲日軍佔領，中國守軍死傷十之七八。孫連仲的部隊據守南關一隅，死拚不退。
這時，李宗仁來電話，嚴令第二集團軍守至次日拂曉，等待湯恩伯軍團前來增援。孫連仲大義凜然地說：“長官有此決心，我第二集團軍犧牲殆盡不足惜，連仲亦以一死報國家。”於是集合可用之兵，包括炊事兵、擔架兵都一併參加，組成一個敢死隊，於午夜襲擊敵人。
這時，池峰城來電話請示可否撤退至運河南岸，孫連仲命令說：“士兵打完了，你自己填上去。你填過了，我就來填進去。有誰敢過河者，殺無赦！”池部乃以必死之決心，逐屋抵抗至4日黃昏，將敵增援部隊擊退。
4月6日，中國軍隊完成了合圍任務後，全線出擊。日軍磯谷、板垣兩師團陣腳大亂，狼奔豕突，漸向北撤去。孫連仲部與友軍內外夾擊，橫掃殘敵。
臺兒莊戰役以中國軍隊的全勝而結束，史稱臺兒莊大捷。此役中，孫部武器雖劣，但官兵勇於作戰、不怕犧牲的精神彌補了這一點。近戰時大刀發揮了很大威力。孫部官兵還用十二枚一捆的束集手**炸燬敵軍坦克。
1939年夏天，孫連仲乘部隊整訓的機會，到重慶住了兩個月。他覺得自己的部隊在抗日戰場上表現不俗，尤其是臺兒莊一戰打得很出名，他想謀求到一個戰區司令長官或省主席的地位。
但由於他沒有加入派系，在國民黨軍政要員中，除了和張厲生私人關係較近外，別的沒有得力的外援，而蔣介石是不會輕易把較大的權位授予雜牌將領的。
孫連仲活動了兩個月後，蔣介石對於像孫連仲這樣一個有功之臣也不能不應付一下，便決定把孫調爲第五戰區副司令長官，作爲李宗仁的副手。因爲李宗仁是個老將，讓孫做他的副手，比做“後起之秀”衛立煌的副手面子上要好看些。
同時蔣還把第六十八軍劉汝明部編入孫的第二集團軍的序列。第六十八軍也是原西北軍的部隊，當時轄有一一九、一四三兩個師和獨立二十七旅。六十八軍副軍長是李金田和陳新起，一一九師師長是田溫其，一四三師師長是李曾志，獨立第二十七旅旅長是劉汝珍。
這樣，孫的第二集團軍就有了五個師和兩個獨立旅。
1940年春天，蔣介石曾打算叫孫連仲接替鹿鍾麟任冀察戰區總司令兼河北省**主席，帶一部分隊伍去河北省打游擊。孫連仲接到蔣介石徵求意見的電報後，曾和高級幕僚們研究。
當時有人主張接受這個職務，因爲蔣介石是不會把正式的戰區司令長官和後方的省**主席職位讓給孫連仲的。河北省條件雖不好，總算獨當一面。但也有人主張不接受，認爲河北省不僅有日僞軍，而且有八路軍。
到那裡以後，如果和八路軍合作抗日，蔣必不答應；如果與八路軍鬧磨擦，恐怕很難站住腳，結果有可能連“老本”都保不住。孫連仲權衡利害，認爲還是不去爲好，就覆電蔣介石表示推辭，大意是：
河北省情況複雜，自己才疏學淺，深恐完不成任務，有負委座重託、謹乞另選賢能。