正當皇帝高興的時候，就有人潑冷水了。中書令李淵就說道：“啟奏皇上，現在雖然是太平之年，那也是先皇幾十年兢兢業業，勤儉守家的結果，原來的時候國庫充盈，一度達到9000億兩銀子，是何等的富裕，可是近幾年來，由於朝廷大興土木，修建皇陵不說，還挖掘運河，修建天庭園，加上幾個省份有天災，不但稅收收不上來，國庫銀子已經不足5000萬兩了，足足去了一半，現在的消耗有點快了，我建議皇上還是勤儉持家，重整先皇的雄風”。
李淵一說，皇帝楊廣就不高興了，說了幾件事都是自己的不對，無非就是自己不會過日子，說的厲害一些就是驕奢淫逸，隻是李淵不敢說，自己猜也猜的出來，皇帝就氣呼呼的問大殿之上的百官：“剛才李淵說我不會過日子，無非就是嫌我花錢多，可是錢就是用來花的，錢不花，在國庫裏幹什麼，你們說說，我說的對不對？”。戶部，吏部，工部三個大臣首先讚成，工部沈括就道：“李大人此言差亦，皇上富甲天下，容闊四海，無非就是花點小錢，那銀子就是9000億兩也罷，5000億兩也罷，放在國庫裏生鏽嗎？皇上修建運河，是為了南北大通途，修建天庭園是為了彰顯國威，修建皇陵更是人之常情，難道李大人自己就不修剪陵墓了，怎麼還說皇上的不對？”。
吏部尚書許慶奎也覺得李淵是在說自己，自己主持修建大運河，可是沒少收到回扣，每年的幾億兩銀子的回扣，要是查出來可是掉腦袋的事情，許慶奎可是不願意：“李大人此話差亦，修建大運河是在為民造福，這是皇上的英明決斷，可不是我們做臣子對策妄自揣測，我主持大運河的修整，這也是一項苦差事，李大人這些話有些影射之嫌啊？”。禮部尚書胡學義更是氣憤：“啟奏皇上，李淵純粹是大逆不道，修建皇陵是百年大計，他竟然攻擊皇上，說皇上亂花國庫的銀兩，簡直就是不臣之心，我建議皇上，講李淵打入死牢，斬立決”。
禮部尚書胡學義一說，吏部，工部，戶部就隨聲迎合，李淵就大怒：“你們這些奸臣，簡直就是在蠱惑皇上，要皇上做昏君嗎？”，皇帝一聽就發怒了：“大膽李淵，竟然說朕是昏君，來人啊，打入天牢，秋後問斬”，就隻見禦林軍就上來，就按住李淵，就要拖出去，李淵氣急大罵：“昏君，既然不聽忠言，早晚有亡國之恨”，皇帝更是大怒：“竟敢咒我大隋滅亡，拖出去，斬立決”。這是刑部尚書宇文化及就站出來了：“啟奏皇上，太平盛世，斬殺大臣不吉利，不如將李淵降級使用，現在朔州貧困，天災不斷，不如要李淵去治理，要是五年之內不出政績，再誅殺不晚，這樣還顯得皇上是大人大量，不予小人一般見識”。
皇帝是最受不得奉承得，加上最近一段時間，跟宇文化及來往的多一些，很是欣賞宇文化及，就聽了宇文化及的上奏，將中書省中書令李淵罷免，降職為朔州太守，沒有詔書，永世不得進京。此時的李淵，見宇文化及還為自己說話，不僅把宇文化及當做了救命恩人，心中甚是感謝，就被禦林軍押出了大殿。到了此時，皇帝楊廣才想起欽天監說的話，亂朝者十八子。十八子不就是李嗎，既然李淵也姓李，看來是不錯了。皇帝就依照宇文化及的提議，把李淵貶去朔州，看看李淵如何亂朝，一個小小的朔州太守，難不成還要造反不成？
李淵回到家裏氣憤難平，對自己的四個兒子說道：“今天在朝堂之上，我得罪了皇帝，說不定哪天，有人進讒言，我們全家就遭到誅殺，還是快快收拾行裝，我們連夜逃出京城，不然就來不及了”。四個兒子之中，老大李建成最是陰狠，老二李世民最是穩重，老三李元吉最是刁鑽，老四李元霸最是敦厚。李世民就聽從父親的建議，趕緊收拾細軟，準備逃難。李建成就說道：“爹，我們怕什麼，四弟元霸，有萬夫不當之勇，我們殺上朝廷，把皇帝楊廣給滅了，就有爹爹做皇帝，有什麼不好，何必要逃難？”。