就在馬錚所部在察北翻江倒海的時候，八路軍其他各部在冀南實施的反掃蕩也取得了不小的進展。2月中旬當第10師團和第110師團對冀南形成合圍勢態後，阿部規秀的26師團一部從津浦路上的泊鎮、末鬆茂治的第114師團在山東省德州聊城的一部，先後出動向西推進，以策應第10師團以及第110的進攻。
2月25日，兩路之敵由其空軍偵察及掩護之下，對南宮、冀縣、棗強三縣進行了合擊，隨後即佔領了冀南中心區的各縣城。
此時在冀南的八路軍第129師，已將所屬385旅、386旅、青年縱旅、東進縱旅、先遣縱隊等，與地方武裝分成若干個作戰集團。在敵合擊時，這些部隊事先已越出包圍圈，轉至日軍的側後，襲擊了冀縣、棗強東北方向的武邑、阜城、景縣和冀縣以南的清河，並在德石路的衡水以西和平漢路上的高邑附近伏擊敵人，以進行牽制和破壞其補給運輸。一部還對冀縣、南宮、鉅鹿、廣宗之敵進行襲擊。
日軍由於兵力有限，機動部隊數量不多，所以要對某一範圍較大的地區掃蕩，必須從各佈防地區抽調部隊。而開始掃蕩時，往往先從四外向抗日根據地進行合圍，尋找抗日部隊作戰並佔領各縣城、集鎮和要點，控制公路、水路與山地之要口。
在佔領和控制各地後，即派出偵察人員蒐集情報強迫民衆修復被破壞的公路、構築據點和圍牆及望樓，開挖據點外圍的水壕並敷設鐵絲網和鹿砦。與此同時，推行僞化與進行分區掃蕩，尋找隱蔽於其佔領區內的抗日部隊作戰。有時還準備一支機動部隊。隨時聽令出動，發現情況後，立即派出進行追蹤攻擊。
根據日軍在掃蕩時的這些作戰特點。八路軍129師的386旅決定在威縣以南約20公里的香城固地區設伏，以殲滅追擊之日軍。386旅以及東進縱隊第三團。新編第1團和115師的688團各一部，在威縣之後，主力每夜均攻入威縣城內然後撤出，以誘敵第10師團的部隊追擊至預定設伏地區。
日軍果然上當，經對威縣攻擊後，敵第10師團第8旅團的步兵第40聯隊，在2月26日上午以一個步兵加強中隊配屬了炮兵，乘8輛汽車。向威縣以南追擊。約在12時到達南草場時，386旅的騎兵連首先對該敵進行阻擊，然後且戰且向香城固設伏地區後撤，敵則依然緊追而進入了袋形設伏地區，遭到三面的火力急襲以後，敵突至香城固村內，但此時已受到688團、補充團的包圍。
戰至下午五點，這批尚剩之敵，企圖突圍向西北逃回威縣，又被設伏於張家莊、馬落堡的688團和新編第1團所阻擊。386旅則集中部隊。對該敵發動攻擊，激戰至黃昏將被圍之敵全部殲滅。計擊斃、擊傷敵大隊長以下200多人，繳獲山炮一門。“九二式”步兵炮兩門，迫擊炮一門，長短槍數十支。386旅所指揮之部隊傷亡約爲50人。
日軍遭到多次打擊後，又以冀中的南宮、鉅鹿、威縣、廣宗等地爲重點，進行分區掃蕩。129師一部與地方武裝及民衆相配合，在內線進行遊擊戰，主力則轉移至外線。
但是日軍爲了完成對冀中、冀南地區的掃蕩，一下子就出動了四個師團，兵力遠在八路軍之上。經半個多月約100多次作戰。將冀中軍區以及冀南軍區的根據地進行了極大的破壞。但是卻始終未能尋找到八路軍主力，不得不在馬錚所部攻佔察北後停止進攻。
與此同時。日軍第12軍在山東、蘇北以及豫東也發動了大規模的掃蕩作戰。相比於冀南以及冀中的艱難，山東的日軍的戰果就輝煌的多了。
在掃蕩之初。在山東的尾高龜藏之第12軍其所轄部隊，計有駐徐州的鷲津鉛平的第21師團，駐兗州的末鬆茂治第114師團，駐青島的今村均之第5師團，以及擔任治安任務的駐青島之獨立混成第5旅團。另外還有日本國內新編成師團中之第32師團、獨立混成第6、第10旅團也調至山東，合計共有4個師團又3個獨立混成旅團。
尾高龜藏所部得知在魯南山區駐有5至7萬抗日部隊，即國民黨山東省主席沈鴻烈所率原青島之海軍陸戰隊一部，山東省保安隊及吳化文之新編第4旅、石友三69軍、於學中第51軍之周光烈第113師、牟中衍的第114師、東北軍第57軍以及在泗水地區建立了根據地的共產黨所領導的八路軍。隨即制定了掃蕩魯南蘇北的作戰計劃，並與2月中旬開始實施。
敵12軍爲了掃蕩在魯南的抗日部隊，佔據這些地區，決定以4個師團又1個獨立混成旅團各一部對魯南發動進攻，其部署爲：第21師團以約5個步兵大隊、兩個炮兵大隊作好向泗陽、沭陽、阿湖鎮的進攻準備，並以約一個步兵大隊進至房山鎮、湖東口一線，準備夾擊海州。主力則準備進攻淮陰。
其次，第5師團以約兩個步兵大隊，從灌河口溯航至響水口西南約25公里的新安鎮附近集結。以1個步兵大隊進至大伊山鎮附近，隨時準備夾擊海州，主力則準備進攻淮陰。另以兩個步兵中隊、1個炮兵中隊，進至海州以北約30公里的贛榆，作進攻海州之準備。
另外還以第114師團約以步兵1個大隊、炮兵1葉中隊，前進至臨沂去海州道路上的山東省境內一帶。並以主力一部佔領臨沂以南約50公里的郯城附近地區，以掩護第21師團左側後的安全。
接到命令後，鷲津鉛平的第21師團將其主力集結於駱馬湖東南的宿遷附近，一部在運河以東的炮車附近集結，2月24日開始行動。27、28日到達沭陽、泗陽地區，沿鐵路的1個步兵大隊則東進至阿湖一帶。
而在泗陽附近的國民黨軍，因對該敵未作有力抵抗，且有向淮陰以南後撤的徵兆，所以敵第12軍不待預定集中的部隊，即決定進攻淮陰並企圖在寶應以北狹窄地帶殲滅退卻的國民黨軍。令第21師團及第五師團21聯隊之第1大隊兩個中隊，向淮陰方向追擊。該敵因有第7飛行團的空中偵察與攻擊、轟炸的配合，在短短兩天的時間裡連克淮陰、淮安、寶應諸縣。
經過大半個月的戰鬥，在魯南以及蘇北的國民黨以及八路軍各部隊均損失慘重，大片領土被日軍攻佔，不得不撤回魯南的山區，以圖後戰。
對於第12軍在山東的掃蕩杉山元很滿意，不但致電嘉獎第12軍所部，甚至於還親臨濟南爲第12軍鼓勁。這也讓在察北吃了大虧的杉山元扳回一城，但總的來說杉山元還是覺得自己吃了大虧。
畢竟魯南蘇北雖然富庶，但是面積狹小，就算是勝了也只能算是小勝。更何況爲了打敗魯南的國共部隊，日軍連續出動了整整四個師團。
而察北草原地域廣大，盛產良馬。一天一夜連丟十城，損失兩三萬部隊，怎麼說也是慘敗，以小勝與慘敗相比，杉山元心裡還是老不是滋味。所以原本不準備對綏察軍區動手的杉山元心思動搖了，在他看來既然要打那就要一勞永逸的解決那隻可惡的支那軍隊的威脅，這樣拖着只能養虎爲患，於是杉山元命令華北方面軍除晉北、察南等地的部隊以外，其餘各部立即收縮兵力，準備對八路軍馬錚所部用兵。(。)