4月10日夜，第81师由开河镇渡过运河，准备攻打汶上。牵制日军的行动。

次日零时，部队分由汉上城西北、东、南三面攀登城垣，进行偷袭。其中一部由城西北上冲入城内，同日军展开激烈巷战。

然日军即由济宁派兵800人增援，在汶上城南辛店遭到展师一个团阻击。

紧接着，日军逐次增援已达千人。汶上城内日军则以机枪、平射炮架于屋顶，向中国攻击部队猛射，并利用工事阻截各巷口，负隅顽抗，敌机数架亦反复轰炸。

经过两昼夜的激战，双方伤亡惨重，至13日晨，日军另外一路2000人以上的援兵抵达战场。由于81师已同汶上之敌激战、肉搏2昼夜，数次浴血攻城，官兵伤亡达3000余，乃奉命向开河镇附近运河之线撤退。

在81师反攻汶上的同时，孙桐萱即令谷良民的第22师以及大批的直属部队向济宁攻击。

11日晚，谷良民师一个旅，附山炮两连，由济宁西北之大长沟强渡运河，翌日攻克北关。

战至12日，谷师歼敌数百，击毁日军装甲车5辆，中国军队亦伤亡6、7百人。

鉴于日军主力全面反攻，中国军队伤亡较重，攻势无进展，13日夜，孙桐萱不得不命令所部全线撤退。

在抵挡住国军的反击之后，土肥原所部也基本上摸清楚了北线国军的基本情况，当下，土肥原下达了继续南下的命令，执行其南下计划的第二部分。

在土肥原贤二的命令下，第14师团除了留下一个联队的兵力留守济宁、藤县外，剩余的部队全部南下，以泰山压顶之势，扑向枣庄等地。

由于这次日军不管是兵力还是火力上都得到了空前加强，尤其是那个战车联队以及重炮旅团的加入，直接导致日军的攻击力呈几何倍数一样提升。

面对日军强大的攻击力，前线的部队修建的简易工事简直和纸糊的差不多，根本抵挡不住日军的进攻。

战到4月20日，川军团以及第三集团军外加中央军一部组成的北线兵团全线溃败，日军接连占领了微山、薛城、枣庄等地，距离台儿庄只有一步之遥了。

整个战场形势瞬间恶化，徐州城里风声鹤唳，草木皆兵，气氛凝重到了极点！