丽虽多，但自殷贵妃死后，刘骏找不到一个合心意的。渐渐地因愁生病，不能再亲理政事，于大明八年夏天三十五岁的刘骏在玉烛殿去世。十六岁的太子刘子业嗣位，这就是刘宋最昏庸残暴的宋废帝。刘子业即位后追谥刘骏为孝武皇帝，庙号世祖，尊皇后王宪嫄为太后。可是不到一年，三十八岁的王宪嫄就被儿子活活气死了。
有一次刘子业指着刘骏的画像说：“这家伙太好色，不择尊卑。”因为殷淑妃的缘故，刘子业在东宫一直得不到刘骏喜欢，等到即了帝位，他遣使挖掘殷淑妃的坟墓，将尸骨扔在荒野里。刘骏当年为殷淑妃造的新安寺也被刘子业拆毁，并杀尽远近的尼僧。殷淑妃的儿子新安王刘子鸾临死的时候叹息说：“只希望下辈子不再生于帝王家!”
令人吃惊的是孝武帝刘骏的诗文造诣相当高，王夫之评价刘骏《登作乐山》说：“得之于悲壮而不疏不野，大有英雄之气。”《全宋文》录其文二卷。可见刘骏其实也有内心深处的另一面。人性是复杂的，可能由于宫廷之内的亲情关系过于淡薄，每个人都被权力所左右，包括皇帝在内，当他过早地看惯了世态炎凉，并且时刻如履薄冰，自己的心理必然会发生扭曲。