作为大隋第一重臣，杨素虽然有辅佐杨坚建国立业的谋略，并且有平定南陈、北破突厥的功绩，还是杨广夺嫡过程中最重要的功臣，但其家世、功绩太大，朝廷内外影响力太巨，所以深为杨广所忌。

杨广表面显出对杨素特殊的礼遇，前后赏赐给他的东西不计其数，实际上恩情却很淡薄。年初太史令袁充说隋地所属的分野将有重大的丧事发生，杨广害怕此事应到自己的身上，因而急忙改封杨素为楚公。因为楚地和隋地在二十八星宿上属同一分野，杨广想借杨素来拦挡遭丧的运气。

杨素卧病在床的时候，杨广常派一些有名的太医前去诊治侍候，并且赐他许多上好的药品，然而却总在暗地里向太医询问杨素的病情，总怕他不死。

杨素知道自己的名望和地位已到了极限，也知道杨广对其的想法。他很清楚若是自己再不死，杨广怕是要对家族下手了，因此杨素不肯吃药，也不想谨小慎微地活下去了，他经常对弟弟杨约说：“我难道还要活下去吗？”

而到了今日，杨素在病榻之上听闻太子杨昭身死消息，心中大惊。他知道杨昭的身死，必然让杨广心中的担忧加剧，而自己若是再不死，怕是杨广都要睡不着觉。

只是自己为了家族去死可以，但是杨素不甘心。

实际上杨素也能看得出杨广的好大喜功，虽然大隋看似强大，但根基动荡，隐患太大。杨广这般极速前进，急功近利，一再打压关陇世家，导致大隋立国根基极其不稳。他若是能稳扎稳打还可以，否则一旦某一件事挫败，便能引起连锁反应，导致崩盘。

杨素实际上给儿子杨玄感留下了极其深厚的本钱。杨素领兵数十年，除了新崛起的黄明远一系，大隋诸将几乎无人不在其麾下为将过，这使得杨玄感在军队中人脉、影响力极其充足。再加上弘农杨氏，天下第一等的家族，也给了杨素充足的底气。

杨素叮嘱儿子，杨广为了打消自己留下的影响力，一定会百般打压杨家，他要儿子杨玄感和弟弟杨约一定要忍让，不可妄动，等到大隋将亡，群雄逐鹿之际再利用杨家的实力后发制人。并叮嘱杨玄感万不可贸然行动，不能做第一个造反的人，免得为他人做嫁衣。

杨玄感和杨约含泪答应。

杨素为家族后事做了充足的准备，但他对于一人却不敢放心，此人便是黄明远。黄明远乃当世名将，杨素自觉此人已经可以与自己比肩。虽然儿子杨玄感大智如愚，但相比较黄明远，实在仍有不如。

杨素决定将黄明远再推上一推，将黄明远推到他当年所处的位置，他不相信黄明远不理解自己的处境。