杨素听了封德彝的一番话，立刻去北门拜见独孤皇后，说：“帝王法有离宫别馆，今天下太平，造此一宫，何足损费。”
等到第二天，隋文帝召杨素来责问时，独孤皇后在一旁为杨素辩解说：“公知吾夫妇老，无以自娱，盛饰此宫，岂非忠孝。”
杨坚听皇后这么说，不好再加罪杨素，反赐杨素钱百万，锦绢三千段。杨素逢凶化吉，为谢封德彝，便鼎力推荐他为内史舍人。
隋文帝赏过杨素，与独孤皇后欢欢喜喜地住进仁寿宫，以后每年开春，都来仁寿宫住下，直到秋风吹落树叶为止。仁寿宫住着太舒服了，599年，文帝待树叶落尽也不愿回去，从二月住到第二年九月。就是在这一年，在回宫后就把太子杨勇给废除了。
在废除哥哥太子一事上，弟弟杨广一方面竭尽全力讨母亲喜欢，另一方面也极尽能事地让父亲高兴。发觉隋文帝喜欢祥瑞之兆，杨广呈献一只象征长寿的毛龟，直乐得皇帝老子满脸弥勒似的笑；再发现文帝很自豪于自己的功业隆盛时，杨广便率百官上表请求封禅，这一举动竟让他的皇帝老爹欣喜得快要喊出声来：“好皇子！好皇子！还是这个皇子好哇！”