黄明远返回东都不久，河北来旨，天子也即将到达。黄明远这一次虽然一路大战，但行军速度太快，竟远远的将杨广甩在了身后。
杨广又享受了一次长途行军，可此次与以往得瑟不同，这次杨广的御驾在返回中原的一路上颇不太平。
自黄明远和宇文述二人率领主力隋军南下之后，杨广也带了近二十万人马从辽东徐徐返回。因为有黄明祯的留守，所以这一次杨广也不如历史上那般走得匆忙，更没有遭到高句丽人的尾随追击，伤亡惨重。
杨广到达临渝关之后，听闻葛公赵元淑参与杨玄感谋反，已被黄明远抓获，是勃然大怒，令人前往赵元淑面前质问。赵元淑一直被关押，早就想好了说辞，因此便推脱自己因为与杨玄感家通婚，所以才有交往，至于所得的金宝更只是娉金，实无其它缘故。
可惜赵元淑不了解杨广的性格，杨广若是主观上认为是某个人的错，你若是主动认错，他还可能放你一马，至于狡辩，只会得到更残酷的惩罚。
因此杨广听到赵元淑的推脱更是气愤，对侍臣们说道：“这就是反状，何必反复问！”于是下令在涿郡处死赵元淑和魏氏，并没收赵元淑的家产。
于是朝中与杨玄感交善的大臣人人自危。
兵部侍郎斛斯政是北魏常山王斛斯椿的孙子，明悟有器干，初为亲卫，后以军功授仪同，甚为杨素所礼，又被杨广倚为心腹股肱。他也与杨玄感交好，甚至参与了杨玄感的叛乱，帮着杨氏兄弟逃回中原。听闻赵元淑身死，他内不自安，便趁机逃亡了高句丽。
杨广大怒，命人追杀斛斯政。可惜没能捉住斛斯政，杨广只得下令将斛斯政全家尽诛杀，甚至与斛斯政交好的也被一同处死、流放。
此时虽然还没有平定杨玄感之乱，但由此引发的清洗已然开始。赵元淑、斛斯政不是第一个也不是最后一个，但他们的遭遇却实实在在地割裂了君臣关系，也让大隋朝廷越发的动荡。
很多时候，人心散了，朝廷也便乱了。
杨广还不知道此事的危害，他的注意力很快被其它事所转移。因为他的车驾一路南来，在河北遭遇了大股的流民。这些流民或是成群结队的乞活，或者便成了盗匪袭击天子车驾的运输队。虽然最后尽被隋军主力击溃，并未对天子车驾造成多大损害，但此事更让杨广愠怒。
杨广是个好面子的人，好面子到虚荣。他自以为自己功盖秦皇汉武，乃“千古一帝”，被盗贼袭击的事情简直让他颜面丧尽。杨广对此当众发了脾气，大批的地方官和戍卫官军被处置。杨广甚至指责虞世基等人“难道天下坏到这种地步”。
在杨广的心中，这还是那个蒸蒸日上的大隋，虽偶有微恙，但不过是疥癣之疾，不足为虑。
对于杨广的质问，无人敢答。
杨广以为是律法还不够严苛，乃下令“盗者籍没其家”，即为凡作盗贼的人其家属财产都要被官府没收。而此时因为连续两年的灾祸，河南、河北流民无数，四处求活，流民与盗匪之间的关系本就很难分辨。而杨广的这条诏令，使得各地的郡县官吏各自作威作福，任意地对百姓生杀予夺。百姓苦不堪言，无路可走之下，只得为匪，以至于为乱匪者更是越来越多。
很快，又一件大事发生，彻底撕开了杨广的遮羞布。
杨广的车驾随从高达二十多万，男男女女，各色身份皆有。行军起来，队伍拉得长达数十里，往往前军到了一个城池，后军才刚出发。而众人自是把戍卫的重心放在了杨广的身上，因此一些边边角角的位置便会被众人忽视。
杨广到达河间郡，驻跸在高阳县。
车驾的最后是役夫队伍和运送的物资，因为没什么大人物，自是没有守卫在意。乱贼高士达自称北齐王室，听闻杨广车驾返回东都，便想着趁机袭杀杨广，重建北齐。但这种事也只是想想，操作起来根本不可能。
高士达始终没有找到合适的机会，便缒在天子车驾之后。
这日碰巧禁军赶着往高阳县，使得防线出现了疏漏。高士达趁机偷袭运送物资的队伍，殿后的禁军措不及防，损失惨重，连着役夫，伤亡数千人，大量御制物品和一些宫女、内侍被叛贼所掳。
高士达一击得手，便立刻撤退，根本没给隋军报复的机会。空留得到消息的杨广在六和城内大声咆哮却无济于事。
杨广怎么能吃这种亏，这几乎是打脸。
愤怒的杨广立刻下令各地官府大肆捕杀乱民，凡疑迹者一同处置，宁可杀错，绝不放过。杨广的诏令杀气腾腾，立刻使得河北的动乱变得更加剧烈。
但还不仅仅是这。
福无双至，祸不单行。之后不久，黄明远平定杨玄感叛乱，消息传到杨广的行在，杨广大喜，终于一扫多日来的忧心和郁气。然而欣喜的事情没多久，又有坏消息传来。
被俘虏的叛军大将韩世谔在被押运行在的途中竟然脱逃。
韩世谔被捕之后，便每天让看守者买些酒肉以酣畅饮宴，还扬言说道：“我死在朝夕，不醉干什么！”他又渐渐以酒来敬看守者，看守者也和他日渐亲近，成了酒友。最后韩世谔灌醉了看守，于是得以逃走投奔山贼，不知所终。
一件又一件的事情终于让杨广爆发了，不过杨广没有奋发图强，而是处死了两名进谏的御史。
此事一出，朝内外哗然。
起居舍人虞世南请杨广收回成命，被杨广训斥道：“我性不喜人谏，若位望通显而谏以求名，弥所不耐。至于卑贱之士，虽少宽假，然卒不置之地上。汝其知之！”或许是因为虞世南是虞世基的弟弟，所以才逃得一死，但也被贬出朝廷。
众人为杨广的话吓得胆寒，只要进谏，不管身份，就没有好下场。至此朝野内外，再无人敢向杨广说真话。
而虞世基、裴蕴二人，投杨广之所好，贬斥忠臣，提拔佞幸，渐渐掌握了朝堂。自此杨广不喜欢听得、见得再也看不到了。