在張浚和秦檜的勸說下，趙構決定不把淮西軍撥給岳飛，但畢竟都承諾過岳飛了，君無戲言，為了顧全自己的面子，趙構下了封手詔暗示岳飛淮西軍的歸屬暫時擱置。
名將都是軍事戰(zhàn)略家，岳飛也不例外，在趙構下手詔之前岳飛曾經(jīng)上疏過一封北伐戰(zhàn)略，奏疏中詳細闡述了宋齊金三國局勢，并從兩淮、襄陽和川陜?nèi)齻€戰(zhàn)場進行了分析，假設了多種情況，建立了好幾個模型，對北伐的規(guī)劃有理有據(jù)非?？茖W。
收到趙構手詔后，岳飛還以為是趙構對北伐沒有信心，急忙先去找老領導張浚，張浚原本是岳飛最大的支持者，但聯(lián)想到淮西軍歸入岳飛麾下后可能會尾大不掉，又不想給岳飛潑冷水，支支吾吾說的含糊不清。岳飛見張浚說不上來，便又親自進宮向趙構匯報他的戰(zhàn)略構想，希望趙構能回心轉意，把淮西軍交給自己，支持北伐。
岳飛苦口婆心的分析，趙構卻心不在焉，末了問岳飛，需要多久能夠克復中原？
岳飛嚴肅回答道，三年。
趙構問非所答答非所問開始瞎扯，說自己之所以能夠在建康府坐鎮(zhèn)，全都是依靠淮西軍在江北駐防，你岳飛如果北伐成功也就罷了，萬一北伐不成功，淮西軍也沒了，建康和臨安的安全誰來保障？
趙構這個提法是完全的睜眼瞎，紹興年間隨著南宋各個防區(qū)穩(wěn)定下來，對偽齊的形勢不是一般的好。
川陜方面?zhèn)锡R要同時面對陜南吳階部宋軍和西夏兩方軍事壓力，淮東戰(zhàn)場韓世忠駐守固若金湯偽齊根本無力進攻，淮西戰(zhàn)場剛剛打完一場保衛(wèi)戰(zhàn)士氣高漲，而岳飛所在的襄陽戰(zhàn)場是其中戰(zhàn)果最豐盛的，齊軍完全無力抵抗，當時岳飛已經(jīng)打到陜西商州和河南虢州了，長安洛陽近在咫尺。只要南宋大后方支持到位，完全可以再接再厲拿下長安洛陽進而再拿下開封，只要這三座古都拿下，那么中原漢地其他地區(qū)只是時間問題。
形勢再好也架不住趙構不同意，失望的岳飛上疏一封，說自己與領導張浚不合，無力領導軍隊，主動交出兵權由部將張憲暫代，自己上廬山為母親繼續(xù)守孝去了。
得知岳飛又撂挑子了，趙構很不滿：這擺明就是對自己有意見。淮西軍軍心不穩(wěn)，韓世忠部防守淮東軍事壓力很大根本無法顧及淮西，如果缺了岳飛這個壓艙石，萬一淮西出了什么問題誰來救火？趙構給岳飛下了一道手札，什么跟這個不和跟那個不和的，趕緊回來上班。
岳飛再次上疏請辭，這次不說跟張浚不和了，稱母親喪期未滿，還要給母親守孝。
上疏到了朝廷，又被趙構下手札催他回來。
手札類似于一種皇帝的信件，與正式的詔書不同，不具備法律強制效力。趙構此時其實算是忍讓的，沒有采用強硬手段讓岳飛下山只是反復下手札開導。但岳飛還是不下山，第三次上疏要留在廬山。
三次被岳飛拒絕，趙構也算是忍耐到了極限，第三次給岳飛下的手札里說了，速速下山共商軍務大事，不得再推諉，并且派了岳飛的下屬李若虛前去勸導。
李若虛不是普通官員，而是南宋的烈屬，是北宋愛國英雄李若水的哥哥。當年李若水為國赴死，連完顏宗翰都欽佩，其英雄事跡被廣為傳頌，后來哥哥李若虛南歸，輾轉來到岳飛部下任參議官。李若虛上到廬山上見到岳飛，告訴他如果再不下山，朝廷就要把他和其他岳飛幾位部將軍法處置。
岳飛雖然怒氣未消，但還是顧大局識大體的，不能讓英雄的哥哥因為自己跟朝廷這些事兒受牽連，于是紹興七年七月，岳飛回到軍中。
趙構在內(nèi)心深處一直擔心武將做大威脅朝廷，為此不惜故意限制岳飛部宋軍的規(guī)模，在他的默許和在張浚的主持下，淮西軍由劉光世的原部下王德和酈瓊兩人共同統(tǒng)率，然而諷刺的是，張?？嘈陌才诺墓芾眢w系根本就不好使，很快淮西軍就嘩變了。