經過一段時間的沉淀，廢黜太子楊勇的時機漸漸成熟，朝廷內外開始流傳出太子楊勇的種種不利謠言。長安城里的百姓也天天在街頭巷尾小聲議論太子楊勇的罪過。
元氏死后揭發過太子楊勇罪行的姬威不知在哪里躲藏一段時間之后，又冒出頭來，上書文帝楊堅告發楊勇。
楊素也接到楊廣的授意上書文帝楊堅參奏太子楊勇。
接到這些奏折，文帝楊堅心里有了主意。
秋季，九月，壬子（二十六日），文帝從仁壽宮歸來，第二天到大興殿，他對侍臣說：“我剛返回京師，應該是開懷暢飲尋求歡樂，不知為什么變得抑郁愁悶？”
吏部尚書牛弘回答：“是臣等不稱職，使陛下憂愁勞累。”
文帝說那話的目的是希望能在朝臣中聽到太子的過失，而不是要聽這種虛話的。牛弘的回答不合文帝的心意，于是文帝臉色一變，招來東宮的官吏僚屬說：“仁壽宮離這里不遠，但是寡人每次返回京師都得嚴格準備儀仗保衛，就象進入敵國一樣。寡人因為拉肚子，不敢脫衣服睡覺，昨天夜里要上廁所，因為在后邊的房間恐怕有緊急之事，就返回前殿居住。難道不是你們這些人要危害我的家國嗎！”
文帝楊堅以此為借口下令把太子左庶子唐令則等幾個人抓起來交付有關部門進行審訊，又命令楊素把東宮的情況告訴近臣。
楊素腦子很聰明，他特意帶了幾個喜歡私下里議論別人大喇叭一樣的大臣去東宮太子府傳旨，命令太子楊勇協助核查劉居士的余黨。
太子楊勇接到文帝楊堅的詔書后，臉色大變，知道文帝這是在故意找茬，他大怒道：“劉居士的余黨都已經伏法了，你讓孤去哪里追究？楊素，你作為右仆射，責任不輕，你若是想核查的話自己去核查此事吧，這件事以后跟孤沒關系了。”
楊素當著幾位大臣的面，態度非常謙遜：“殿下，這是皇上的命令，不是微臣所能決斷的。”
楊勇心里煩躁，忍不住吐槽道：“當初父皇禪讓的時候諸事不順，若是沒有孤幫忙斡旋，恐怕我們楊家這幫人早就尸骨無存了，如今父皇做了天子，居然如此對待孤這個功臣，處處轄制孤的行為，任何事情都不能自作主張，孤的自由何在？”
這話楊勇說得，楊素等人卻不敢多聽，慌忙告辭退出了東宮。
“楊大人，太子殿下不配合的我們的行動，圣上那里我們該如何交代？”有大臣憂心忡忡地問道。
“咱們回宮據實稟告吧。”楊素嘆了口氣道。
文帝和楊素的目的是想把太子楊勇的惡劣態度借這幾名大臣的口傳播出去，所以太子楊勇的反應，他們一點都不意外。
看到楊素一臉沮喪地回到皇宮，文帝楊堅配合著問道：“太子那邊如何答復？”
楊素低垂著頭，惶恐不安地請罪道：“臣無能，在太子那里沒有得到任何答復。”
“怎么回事？”文帝楊堅的臉上爆出一層薄怒。
楊素無奈，只得將太子楊勇的原話一五一十詳細復述了一遍。
“此話當真？”文帝楊堅挑眉怒道。
“臣不敢說謊，不信你問陳大人，李大人和張大人------”楊素指了指跟他一同去東宮的幾個人說道。
“是這樣嗎？”文帝楊堅臉色鐵青，嗓門瞬間調高了一度。
受不住文帝的威壓，幾個人噗通一聲跪倒在地上：“右仆射大人所說句句屬實，太子殿下確實不配合。”
聽到這話文帝楊堅的神情瞬間蕭瑟了許多：“這個兒子我很早就覺得不能夠繼承皇位了，皇后老勸寡人廢黜他，寡人一直認為他是我作平民時生的，又是長子，希望他能夠逐漸改正錯誤，寡人已克制忍耐到現在了。楊勇曾經指著皇后的侍女對人說：‘都是我的’。這話說的是多么地奇怪。他的妻子元妃剛死時，我很懷疑她是被毒死的，曾經責問過楊勇，他就怨恨地說：‘應當殺掉元孝矩。’這是想要害我而遷怒他人。長寧王剛出生時，我和皇后一起抱來撫養他，楊勇卻心中另有想法，連連派人索要。況且云定興的女兒，是云定興在外面私合而生，想到她的出身來歷，由何能說必定是他的子女呢？以前晉太子娶了屠戶的女兒，他的兒子就喜歡屠宰之事。如今他們不是咱們這一類人，會亂了宗祠。寡人雖然德行不及堯舜，但終歸不能把天下百姓交付給品行不端的兒子！我總擔憂他會謀害我，對他就象防備大敵一樣，現在我打算廢掉他以安定天下。”
文帝楊堅這席話說得不背人，也沒有命令他們不可以外傳，所以很快所有朝臣都知道了太子楊勇的惡語和文帝楊堅的心意。
朝中大部分朝臣都采取了緘默的態度。
左衛大將軍五原公元曼勸說文帝：“廢立太子是大事，找書苑ｗww.zｈaoshuｙuan．coｍ 詔書若頒布實行了，后悔就來不及了。讒言說起來是無定準的，希望陛下再仔細調查這些事。”
文帝楊堅看著元曼，解釋道：“元曼，你對朝廷和太子的忠心，寡人心里明白，可做人也好，做事也罷不能枉顧事實，一味愚忠，太子楊勇做的錯事不少，品性不端，擔不得太子之位。”
元曼臉上露出一絲不服。
文帝也沒責怪他，下令道：“來人啊，將姬威帶進來------”
姬威很快被帶進御書房，一進門就恭謹地行禮道：
“拜見圣上------”
“當著元大人的面，把太子楊勇所做的罪行說一遍--------。”文帝楊堅下令道。
“遵旨------”
姬威拱手行禮道：“太子殿下平日里對來奴才們講話，意氣極為驕橫，還說：‘要是有勸我的人，就該殺掉他。殺百把人，自然就永遠清靜了。’太子喜歡營建樓臺宮殿，一年四季都不停止。先前蘇孝慈被解除左衛率官職的時候，太子憤怒得胡子都翹起來了，他揮著胳膊說：‘大丈夫終會有一天，不會忘記此事，一定要殺伐決斷以求痛快！’另外，東宮內所索取的東西，尚書經常恪守制度不給，太子往往立即發怒，說：‘仆射以下的人，我可以殺一、兩個，讓你們知道怠慢我的災禍。’太子常說：‘皇父厭惡我有許多姬妾，北齊后主高緯、陳后主陳叔寶是庶子嗎？’太子曾令女巫占卜吉兇，他對我說：‘皇帝的忌期在開皇十八年，這個期限快到了。’”
