绍兴七年三月，刘光世被罢去兵权，淮西军也未移交给岳飞，而改作直属于张浚主持的都督府，由兵部尚书兼都督府参谋军事吕祉以抚慰诸军为名前往节制，并升刘光世的部将王德为都统制，流寇出身的另一部将郦琼为副都统制。

此前张浚曾与岳飞商议过淮西军的统领问题，张浚逐一问岳飞谁来接管最为合适，先说：“淮西军一向敬服王德，如今我想让他做都统制，再命吕祉为督府参议前去领导，你看怎样？”

岳飞摇头道：“王德与郦琼素有积隙，一旦王德地位高过郦琼，势必引发两人争斗。吕尚书虽有才，但毕竟是书生，不长于军事，恐不足以服众。”

张浚便又问他：“张俊如何？”

岳飞更是一向看不起张俊，立时否定：“他性情暴戾，有勇无谋，而且郦琼本来就不服他。”

张浚再道：“那么杨沂中应该可以了。”

岳飞还是不同意，说：“沂中视王德等同于己，岂能驭之！”

听得张浚颇为恼怒，怫然冷道：“我早就知道非太尉你不可！”

岳飞的脾气也随之而起，反驳说：“都督认真地征求我意见，我不敢不直陈愚见，岂是为多得兵马！”即日便上疏乞解兵柄上庐山为母守墓，赵构不许，岳飞却不管，让本军事务官张宪摄军事，自己撂下挑子径直上庐山了。

岳飞走后张浚即命兵部侍郎张宗元权湖北、京西宣抚判官，前往鄂州监岳飞军。无奈岳家军并不服他管，兵卒日日沮丧叹息：“张侍郎已来，岳将军大概不会回来了！”既怀念岳飞，对张宗元便越发抵触，士气低落，渐渐不大听号令。

赵构对岳飞擅自上山守丧已是十分不满，听到这些事更是极度震怒。张浚入见，建议赵构就此罢去岳飞兵权，让张宗元正式取而代之。赵构负手低首在殿内大步疾行，良久，停在张浚面前，两眉深锁面色冷峻：“不，现在时机未到。”

随即重新落座于御案边，亲自提笔写下手诏：“许卿以恢复之事。”命张浚遣人传给岳飞，促他早日下山统军。

张浚展开一看，见他写诏书之时分明满面怒色，但写下的字仍沉着浑厚、宽稳疏朗，洒脱清逸中不透半点恶劣情绪，当下佩服之余亦暗暗心惊。

张浚让参议官李若虚与统制官王贵带着诏书前往江州，敦请岳飞归来管军。二人在东林寺见到岳飞，传达了赵构旨意，岳飞才受诏赶赴行在。

至行在建康后，岳飞具表待罪，赵构却似毫不恼怒，心平气和地加以抚慰劝导。岳飞启程回去统军那日，赵构亲自出宫送他，温言对他说：“卿前日奏陈稍显轻率，但朕并未因此发怒。若真怒了，必会怪罪责罚于卿。正如太祖所说的那样，‘犯吾法者，惟有剑耳’。现在朕复令卿统军，任卿以恢复中原之事，可知朕确无怒卿之意。”

岳飞听了此话，遂放下心来，再度表明忠君爱国之心，才辞别赵构回归军营。

岳飞以前对郦琼与王德关系的分析没错，王德升为都统制后郦琼每每与其作对，终日联合部将在吕祉面前诬告控诉王德，吕祉忍无可忍，于是密奏张浚，乞罢郦琼兵权。张浚得知后遂决定召回郦琼，夺其兵权，并处其死罪。不料消息走漏，郦琼先于八月发动兵变，杀死吕祉，率四万多淮西军投降了伪齐帝刘豫。

此次叛变震惊朝野，张浚立时成了众矢之的，朝臣们都认为是他在淮西军问题上处理不当才导致今日之祸。赵构亦被此事弄得焦头烂额，对张浚虽未加指责，但很快手诏命令：“观文殿大学士、两浙东路安抚制置大使兼知绍兴府赵鼎充万寿观使兼侍读，疾速赴行在。”

是日，张浚入宫见驾。进到殿中亦不多言，在赵构面前跪下，伸手于顶徐徐取下乌纱，端端正正地搁于身前，俯首再拜，一举一动恭敬而严肃。

赵构知是他主动请辞，又见他形容憔悴，原本清隽的脸上似一夜之间滋生了许多皱纹，不免感慨，叹道：“卿何有此举？朕并未怪罪于你。”

张浚直身道：“郦琼叛变，臣自知难辞其咎。若非臣当日率性而为，用人失当，亦不会有淮西之变。臣才识有限，幸蒙陛下不弃，屡加重用，臣即便肝脑涂地，也难报陛下知遇之恩。而今犯下大过，已于国于君造成莫大损失，岂敢再强守相位，使陛下英名因臣受损？请陛下将臣免职以息众怒，但若将来再有变故，陛下觉可复用臣，臣当即日就道，不敢以老病辞。”

既听他如此说，赵构亦不再托辞挽留。沉吟片刻，问他：“依卿看来，何人可以代卿任相？”