建炎三年，礼部尚书王綯奉旨巡视两淮之地，忽得探马急报，言金兵将大举南侵。王綯急召随行属官数人，连夜具本上奏。高宗览奏，即传旨命其速至建康共议军机，及至朝堂议事，王綯率众官伏阙泣谏，奏请增派精兵强将防守淮南要地。时宰相黄潜善与汪伯彦在侧，闻言相视而笑，黄潜善抚掌道：“诸公所陈之事，纵三尺孩童亦能道之，何足为奇！”汪伯彦亦附和，王綯等大怒，振衣而起，愤然出殿。是时金国元帅粘罕已大破韩世忠之师，又闻宋主将岳飞所部调往他处剿匪，遂点齐十万大军，浩荡南下。粘罕亲率大军至滕县，先遣五千铁骑为先锋，皆着金甲，头戴白牦毡笠，疾驰淮河。其时宋将阎瑾镇守泗州城，闻报有兵马逼近，急遣斥候打探，探子回报乃流寇刘忠欲犯临淮，又有斥候言是贼首李成残部。阎瑾狐疑不定，只得先派一队兵马出城迎敌，擒得游骑数人，拷问之下，方知是金国大军压境。转运使吕源闻警，急令部属尽收淮北舟船数百艘，悉数泊于南岸，又遣使臣张瑾焚毁淮河浮桥。吕源亲笔修书，遣快马飞报高宗，道：“乞陛下为宗庙社稷计，速择安身之所。”金兵将至泗州城下，阎瑾胆战心惊，竟弃城而逃，唯部将孙荣率射手百余人据险死守。是日天色昏沉，黄沙漫天，金兵初至，难辨其虚实，两军对峙竟日，及至暮色降临，方见宋军兵少。金军大举进攻，孙荣力战不退，身中数十箭而亡。金兵遂在泗州城外数十里处，连夜赶制木筏，准备渡河南下。当夜，泗州急报传至行在，言金兵旦夕将至，高宗大惊，急召近臣商议，宫中顿时乱作一团，命侍从将内库所藏金银细软尽数搬出，充作军资。
二月，宰相黄潜善、汪伯彦等入宫面圣，奏请高宗乘御舟暂避敌锋。高宗心中迟疑，欲待确切军报，遂先移驾至扬州，将龙舟停泊于长江北岸。此令一出，长江南北军民闻风骚动，人心惶惶，皆不知天子意欲何为。市井之间流言四起，有人窃窃私语道：“官家莫非要浮海远遁，直趋浙东？”天长军知府杨晟惇见局势危急，急递奏章，建言速毁长江浮桥，以防金兵长驱直入。高宗对左右叹道：“若断浮桥，则军民无路可退，岂非自绝生路？”遂下诏：“士庶百姓可自行择地避敌，各州县官吏不得阻拦。”未几，探马飞报金兵逼近，高宗惊惧交加，欲渡江南归建康。汪伯彦道：“陛下稍安，容臣等再候淮南军报，若仓促渡江，恐军心涣散。愿陛下开内库，取三成金帛犒赏将士，以稳军心。”高宗应允。户部尚书叶梦得奉旨筹措渡江事宜，当日便调集舟楫，并向诸大将暂借精兵两千护卫渡口，仅一日便安排妥当。然江面之上官私船只交织如麻，舟楫相撞，寸步难行，呼喝叫骂之声不绝于耳。叶梦得见状，再奏高宗：“户部尚有余钱，请预支六军春衣及百官一月俸禄，以免生变。”高宗亦准其奏。是夜，高宗复召近臣议事，敕令御营统制官刘正彦率本部兵马护送六宫嫔妃及皇子先行赴杭州避祸，又遣吏部尚书吕颐浩、礼部侍郎张浚星夜兼程，赶往淮河沿线督饬防务。
粘罕亲率大军南下，先遣数百精骑为先锋，昼夜疾驰，突至天长军城下，金兵诈称奉令追剿盗贼，欲赚开城门。统制官任重、成喜本率万余兵卒驻守此城，闻金兵猝至，竟不敢发一矢相抗，当即弃城南逃。高宗闻报，愈加惊惧，急召江淮制置使刘光世入见，命其率部迎击金兵。建康、扬州百姓因刘光世昔日讨平方腊之乱，皆以为其必能御敌于国门之外。然刘光世麾下士卒久疏战阵，军心涣散，尚未行至淮河，便已自行溃散，兵卒四窜，自相践踏而死者不计其数。粘罕分兵一支攻打楚州，守臣朱琳见大势已去，备下降书，遣使迎敌，开西门引金兵入城，又开东门纵百姓南逃。城中军民扶老携幼，皆欲取道宝应县，自扬州渡江南下，不料金兵发觉，派铁骑追击，将逃难百姓尽数掳回城中。其时阎瑾领军一路南逃至洪泽镇，其部将姚端愤其怯战，持刀将其斩杀，所部兵马顿时溃不成军，金兵遂长驱直入，攻陷天长军。高宗车驾尚驻扬州，遣内侍邝询往天长军探察军情，邝询方至城郊，便见金兵铁骑如奔涌而来，吓得魂飞魄散，拨转马头狂奔回扬州，入宫面圣，颤抖不止，伏地奏道：“金家人马将至扬州！”高宗闻言，顿时面如土色，披甲上马，竟不及召唤随驾百官，仅御营都统制王渊、内侍省押班康履等五六骑仓促跟随。一行人纵马过市，马蹄声急如骤雨，街市百姓见状，纷纷指点惊呼：“官家去也！”未几，宫中嫔妃、宫女四散奔逃，扬州城内乱作一团。高宗策马疾驰至扬子桥，一卫士见其狼狈之态，竟出言不逊，高宗勃然大怒，拔剑将其斩杀，随行百姓目睹此景，皆怒目而视，一哄而散。
黄潜善、汪伯彦二人正率文武于佛寺中听高僧克勒讲经说法，有官员低声询问军情，二人犹作镇定状，黄潜善笑道：“金人远在淮北，不足为虑。”汪伯彦亦附和道：“纵有小股贼寇，自有边将御之。”言罢，便与众官同往斋堂用膳。忽见相府守门小吏闯入，面如土色，跪地急报：“金兵已至城下，圣驾仓皇南奔矣！”黄潜善闻言，手中牙箸坠地，与汪伯彦四目相对，呆若木鸡，半晌说不出话来。左右催促再三，方如梦初醒，慌忙披甲上马，向南疾驰追赶圣驾。扬州城中顿时大乱，百姓争相夺门而出，街巷为之堵塞。老弱妇孺哭喊震天，壮丁推搡践踏，死者枕藉于道，仰天泣血道：“黄潜善、汪伯彦误国至此，恨不能食其肉寝其皮！”司农卿黄锷驱车赶至江边，恰遇溃散军士，众军士见其车驾华贵，误以为黄潜善，纷纷持刀围上。一军校戟指怒骂：“黄潜善老贼！误国害民，致有今日之祸，尚敢逃窜耶？”黄锷大惊，方欲辩解，话音未落，已有军士挥刀斩其首级。众军又追杀史徽、范浩、黄哲方等官员，而后继续向南追赶圣驾。鸿胪少卿黄唐俊在渡江时舟覆溺亡，谏议大夫李处遁被乱兵所杀。太府少卿朱端友、监察御史张灏等人下落不明。吏部尚书吕颐浩与礼部侍郎张浚策马狂奔，在瓜洲渡口追及高宗，三人共乘一叶小舟渡江，暂驻镇江。高宗独坐城外关帝庙中，取方才斩杀卫士之剑，就靴底擦拭血迹，举目四望，随行百官无一至者，禁军卫士更无一人相随，叹息不已。镇江百姓闻圣驾将至，纷纷扶老携幼逃入深山，城中为之一空。
金兵未至之际，长江水道舟楫如蚁，官船民舸首尾相接，自扬州至瓜洲五十里河道，仅容一舟通行，扬州城中闻警出逃者，皆以夺得舟船为幸。及至金兵压境，恰逢潮水不至，闸门难开，千百舟船尽陷淤泥，皆为金人所得，天子车驾、宫廷御用之物，官府文书案卷，尽数落入敌手，片纸不留。是夜，粘罕遣大将玛图率五百铁骑疾驰扬州，守城官员早已逃遁，城中遗民备香花跪迎，金兵入城，执一老翁问道：“尔主何在？”老翁战栗对道：“官家已渡江南去。”金骑遂驰往瓜洲，临江而返。其时未及渡江者尚有十余万众，见金兵杀至，半数投江自尽。更有舟子趁乱勒索，停桨中流，一人须纳一金方肯摆渡，及金兵至，渡客皆相拥沉江，其不及者，尽为金兵所掳，所掠金玉宝货，堆积江岸，高如山丘。次日，粘罕亲率大军入扬州，屯兵摘星楼下，城中女子财帛，尽遭洗劫。有南阳尉晏孝广之女，年方十五，姿容绝世，为金将所见，欲纳为妻。晏氏厉声道：“吾乃宋臣之女，岂能事仇？”言毕自缢而亡。金将叹其节烈，命厚葬之。粘罕下令纵火焚烧，无论官署民宅，尽付一炬，昔日繁华都会，转眼化为焦土。次日，粘罕遣甲士数十，谕令残存百姓出西城，民皆疑惧，无人敢出。至午，金兵齐声呐喊：“不出城者，格杀勿论！”西北隅居民战栗而出，皆被驱入木栅囚禁，东城百姓坚守不出。入夜，金兵四面举火，焚毁扬州，烈焰冲天，百姓葬身火海，幸存者不过数千。昔日笙歌之地，锦绣之城，如今化作瓦砾堆。粘罕目睹此景，抚掌大笑，命人将所掠珍宝尽数装车，运往北国，扬州烟焰三日不绝，腥风百里可闻。
高宗仓皇逃至镇江府，暂居于府衙之内，随行人员未及携带寝具，高宗只得取出随身貂裘一领，半铺半盖，勉强就寝。太常少卿季陵于金兵破城之际，冒险自太庙中捧出历代帝王神主牌位，仓促出逃，因事起突然，朝廷仪仗器物尽数遗落。途中又遭金兵追击，慌乱间竟将宋太祖神主遗失。季陵手捧其余神主疾行，方出数里，回首但见扬州城火光冲天，黑烟蔽日，心知宫室民宅俱已焚毁殆尽。高宗驻跸镇江，太后、王妃及随行官员陆续抵达，太常少卿季陵蓬头垢面，手捧神主入见，跪奏道：“扬州城已陷，金虏纵火屠城，军民无一生还。”高宗闻言，面色惨白，捶胸顿足道：“朕之过也！朕之过也！”左右群臣无不伏地痛哭，哀声震天。随驾南渡的太学生，仅余三十六人，皆衣衫褴褛，面有菜色。
后人有诗讥高宗君臣云：
门外飞尘谍未归，安危大计类儿嬉。
君王马上呼船渡，丞相堂中食未知。
是日，高宗召众臣议事，问道：“姑且留此，或径趋杭州邪？”奉国军节度使刘光世遽前，以拳捶胸，嚎啕大哭，涕泪纵横。高宗惊问其故，刘光世哽咽道：“都统制王渊专管江上海船，每于臣前夸口，言缓急济渡，决不误事。今诸军阻隔北岸，臣所部数万人，二千余骑，皆不能济，臣愧对将士，何以自效！”黄潜善道：“陛下勿忧，臣已集数百舟渡诸军。”高宗道：“济河诸军固已处置，今当议是去是留。”吏部尚书吕颐浩伏地叩首，继而户部尚书叶梦得等相从拜伏庭下，高宗转视黄潜善问策，吕颐浩以首叩地奏道：“愿陛下且留此，为江北声援。不然，金人乘势渡江，愈狼狈矣。”高宗沉吟良久，方道：“如此，则宰相同往江上经略，号令江北诸军，令结阵防江，仍先渡官吏百姓。”众臣领命而退。车驾驰诣江干，浙西提刑赵哲匆匆来谒，奏说王渊欲诛江北都巡检皇甫佐，高宗急遣黄门往问，回报则已斩之矣。高宗大怒，召王渊厉声质问，王渊抗声道：“皇甫佐主海舟，我军济渡，被他留滞。”实则王渊怒刘光世之语，故杀皇甫佐以泄愤，高宗遂谕王渊分立旌帜，不在刘光世麾下。
既而，王渊入内觐见，奏道：“暂驻镇江，仅能防守一处。若金人自通州渡江，先据姑苏，届时将如何应对？不如移驾杭州，有钱塘江可守。”左右内侍闻言，皆点头称是。至午时，高宗将王渊之言告知黄潜善，黄潜善道：“王渊既如此说，臣复有何理由强留陛下！”忽有内侍仓皇奔入，高呼：“城中火起！”未几又一人来报：“禁卫军士涕泣喧哗，言语不逊。”高宗大惊失色，急召中书侍郎朱胜非道：“卿速去察看。”朱胜非整冠而出，立于郡厅台阶，见卫士或坐或立，多有垂泪者。朱胜非问道：“尔等有何诉求？”众卫士皆道妻儿未得随行。朱胜非宣谕：“已有旨意，将分派舟船专载卫士家眷。”众人闻言，渐渐平息。朱胜非又问车驾去留之议，众人皆道：“但凭圣裁。”朱胜非又许诺待驻跸既定，必录扈从之功，厚加赏赐，三军将士皆欣然应诺。朱胜非回禀，高宗道：“适才已议定，径赴杭州。此地诸事，暂留卿处置。”高宗遂策马启程，是夜宿于吕城镇。王渊留部将杨沂中率兵三百驻守镇江，临行约定：“若见金人准备渡江，即焚甘露寺为号。”当夜，探子闻瓜洲人声鼎沸，误以为金兵将至，杨沂中遂举火焚寺。王渊遥见火光，急报：“甘露寺火起矣。”便请高宗乘马启程。其时仪仗尽失，仅一兵卒执黄罗伞盖随行而已。
集英殿修撰卫肤敏入对，伏地叩首道：“杭州地狭人稠，区区一隅，终非可都之地。自古帝王未有建都于此者，唯钱镠据两浙而窃居之，实乃不得已之举。今陛下巡幸，欲暂居此地，然其地深远狭隘，欲以此号令四方，恢复中原，难矣。前年冬，大驾将东巡之时，臣已三次上奏请都建康。盖因建康倚山带江，实乃王者之都，可据险而守，建不拔之基。为今之计，莫若暂安于杭州，徐徐回驻建康。然长江数千里，皆当严加守备。如陆口通濡须，夏口通赤壁，姑孰通历阳，牛渚通横江，乃至西陵、柴桑、石头城、北固山，皆三国以来兵家必争之地。至于上流寿阳、武昌、九江、合肥诸郡，自孙吴而后，必遣大臣率重兵驻守。而江陵、襄阳二城尤为要害，此尤不可不扼险屯戍。臣请陛下速降诏书于沿江守臣，使之据险屯兵，广为守备。许以募兵之令，使当地壮士出力报效；重悬爵赏，则人人效命，守备无虞而敌骑必退。待敌骑既退，则可广设屯戍，如前所陈。假以时日，国体渐安，中兴之业可期矣。”高宗沉吟良久，方道：“卿言甚善。”遂命近臣记录其策。
高宗车驾抵临杭州，权以州衙充作行宫，显宁寺暂代尚书省，因随行百官家眷尚未抵达，天子只得独宿于大堂。旧时规制，御膳须备百味珍馐，而今渡江之后，每日仅能以一羊煎肉炊饼充饥。次日，高宗降诏：命五军制置使刘光世镇守镇江，扼守长江咽喉要道；委杨惟忠统辖江东各路兵马；朱胜非节制平江府与秀州军务，侍郎张浚为其副；王渊驻守平江府；吕颐浩率军屯驻京口；张俊统领八千精兵把守吴江要冲。天子暂驻杭州，诏谕天下豪杰起兵勤王，共诛胡虏。朝堂之上，文武百官与御史中丞张征联名上呈弹劾奏章，历数黄潜善、汪伯彦二十条大罪，其辞云：“黄潜善、汪伯彦身为宰辅，初无御敌之策，唯知强留圣驾于危城，致万乘之尊蒙尘，其罪一也。严禁士大夫举家南迁，立法苛严，致朝野怨声载道，皆云天子六宫尚得渡江，我等岂非血肉之躯，竟要坐以待毙，其罪二也。自楚州、泰州以南州郡，皆因防御失当，毁于溃兵之手，其罪三也。太庙神主未能及时渡江，致暴露于险地，尤使太祖皇帝神位遗失，其罪四也。建炎初年秉政以来，淮河以北疆土沦丧殆尽，其罪五也。士大夫未得渡江之期，仓皇流离之际，多遭金兵屠戮，其罪六也。行在军兵渡河之时调度失宜，致全军溃散，为患东南，其罪七也。内府库藏金银绢帛尽数遗弃资敌，其罪八也。扬州为金兵付之一炬，百万生灵涂炭，其罪九也。受伪命之官，反得重用，其罪十也。黄潜善专权用事，尽用奸臣王黼门下宾客，汪伯彦结党营私，广纳宦官梁师成之余党，其罪十一也。堵塞言路，将指陈时弊者尽数交付有司问罪，其罪十二也。滥用朝廷名器爵禄，胁迫士大夫就范，其罪十三也。行在百官机构重叠设置，虚耗国用无度，如因巡幸而设御营使司，致使枢密院形同虚设，另立提举财用司，使户部沦为摆设，其罪十四也。许景衡首倡渡江之策，竟被排挤迫害至死，其罪十五也。身为御营使，多占兵卫以自保，毫不避讳嫌疑，其罪十六也。与敌对峙之际，竟不设斥候，唯以道听途说之词蒙蔽圣听，致有此番狼狈，其罪十七也。金兵已近在咫尺，仍敢强行挽留车驾，其罪十八也。二人朋比为奸，专以欺君罔上为能事，其罪十九也。国家危亡之际，不知引咎辞去以谢天下，其罪二十也。”汪伯彦、黄潜善二人面如死灰，自知不容于朝野，遂联名上表乞骸骨，高宗迫于群情汹汹，不得已降黄潜善为建康知府，贬汪伯彦为南昌知府，二人领命而去。
高宗升户部尚书叶梦得为尚书左丞，御史中丞张征为尚书右丞，颁诏大赦天下，死罪以下皆得宽宥，召还贬谪士大夫。叶梦得奏道：“乞为李纲、陈东、欧阳澈平反冤屈。”高宗降诏：“陈东、欧阳澈二人，实为汪伯彦、黄潜善所害，今各追赠承事郎，并荫其亲属一人入仕，令所在州县优恤其家。”唯李纲罪名不赦，仍命其留居贬所，不得召还。王渊奏道：“李纲在先朝时忠心为国，乞陛下开恩赦免。”高宗执意不从。叶梦得初掌朝政，高宗谕之：“当今之务，兵事粮饷最为紧要，当择重臣分掌。”门下侍郎颜岐等人嫉恨叶梦得，私谓杭州知府康允之道：“圣上本欲以次对授公，奈何为叶梦得所阻。”康允之大怒，与其部将曹英密谋，散布流言，称叶梦得执政令叛党不安，恐生变乱，高宗初不信，未几士民上书指陈叶梦得过失，遂改叶梦得为资政殿学士，提领户部财用。叶梦得执政仅十四日即遭罢黜，愤而辞官，径归卞山隐居。王渊善揣上意，应对敏捷，圣眷日隆，高宗命其执掌枢密院，王渊又与内侍康履等交结，凡有所请，高宗无不应允，朝野内外皆忌之。