此時，正好張自忠的59軍，自豫東調往津浦線增援。於是李宗仁遂臨時急調張部全軍北上臨沂，援助龐部作戰。

張部以急行軍出發，於3月12日黃昏後趕到臨沂郊外。當日敵軍攻城正急之時，59軍先與守城部隊取得聯絡，約定時間向日軍展開全面反攻。臨沂守軍見援軍已到，士氣大振，開城出擊。兩軍內外夾攻，勢不可當。板垣師團不支，倉皇撤退。龐、張兩部合力窮追一晝夜，敵軍無法立足，一退90多里，縮入莒縣城內，據城死守。

臨沂一戰，津浦北段日軍，左臂為我軍砍斷，敵兩路合攻臺兒莊計劃，遂為我軍所破。唯日軍沿津浦線而下的磯谷師團，則因韓復榘不抵抗的影響，日益向南推進。在這個緊急關頭，我另一部援軍第22集團軍川軍鄧錫侯部的41軍和45軍，適從鄭州趕來增援。李宗仁急調孫震的41軍前往魯南的鄒縣堵截，45軍跟進為預備隊。我軍到達滕縣，得知鄒縣已失，41軍的122師（師長王銘章）守滕縣縣城124師在城外策應。日軍以快速部隊南侵，將滕縣城包圍，並以重炮及坦克猛攻縣城。王師長親自督戰死守，血戰三晝夜，終於為敵所破。王師長如下全師殉城，至為慘烈。

磯谷師團佔領滕縣之後，為了打通津浦路的首功，自滕縣大舉南下。

在臨沂和滕縣於3月中旬同時告急時，中央統帥部即倉促調第一戰區駐河南補充訓練尚未完成的湯恩伯軍團與孫連仲第二集團軍星夜增援。首先抵達徐州的湯恩伯第二十軍團，下轄關麟徵第52軍和王仲廉81軍。

湯部81軍先抵徐州，即乘火車北上支援22集團軍的作戰，但滕縣城已先一日陷落敵手，迨湯軍團全部到達，已不及挽回頹勢，只消極地掩護友軍退卻和遲滯敵軍南進而已。

第五戰區司令官李宗仁判斷，驕狂萬分的磯谷師團長一定不待蚌埠方面北上的日軍增援呼應，便直撲臺兒莊，以期一舉攻下徐州，搶先奪取打通津浦路的大功，故調兵遣將，張網以待。除以孫連仲正面迎敵外，又派湯恩伯潛行南下拊敵之背，協同孫部包圍日軍而殲滅之。

3月19日，孫連仲接到命令之後，立即隨湯部之後東調，指定參謀人員先到徐州以北地區，選定指揮所。同時命令池峰城第31師進駐臺幾莊及其附近地區，構築工事，掩護他部集中。第二集團軍完成後的佈防情況是：臺兒莊城寨由31師184團防守；該師其他部隊一部分防守臺兒莊以西七里之範口村及以東約三里之官莊，準備協同臺兒莊核心之作戰；另一部分沿大運河南岸佈防。池峰城在城寨外指揮。第二集團軍的第27師、第30師和44旅陸續集結於賈汪東北和臺兒莊以南地區。總司令部設在距臺兒莊城寨5公里處。

李宗仁命令第二集團軍部置防務建築工事後，即命令湯軍團讓開津浦路正面誘敵深入。

我軍部署既定，日軍果然自滕縣大舉南下。湯集團軍在津浦線上與敵作間斷而微弱的抵抗後，即奉命陸續讓開正面，退入抱犢崗東南的山區。重炮營則調回臺兒莊運河南岸，歸長官部指揮。日軍不出所料，舍湯軍團而不顧，盡其所為，沿津浦路臨棗支線而下，直撲臺兒莊。日軍人數約四萬人，擁有大小坦克80輛、山野炮和重炮400門、輕重機槍不計其數和大批飛機助威。徐州城和鐵路沿線，被敵機炸得一片破爛。

3月23日，日軍衝到臺兒莊北泥溝車站，徐州城內已聽聞炮聲。

我軍此時在臺兒莊進行阻擊戰鬥中，逐步投入兵力，共計12個軍（第2、22、30、40、46、51、52、59、75、85、60、92軍）。

3月22日，池峰城師進駐完畢。次日，由嶧城南下之敵進犯臺兒莊，中國軍隊進行還擊，形成對峙狀態。劉蘭齋率騎兵從臺兒莊北山出擊日軍，183團跟進