故人严子陵和我共卧而已。”
刘秀封严光为谏议大夫，想把严光留在朝中。但严光坚决不肯接受那种做官的束缚，最终还是离开了刘秀，躲到杭州郊外的富春江隐居去了。后来光武帝又曾下诏征严光人京做官，但都被严光回绝了。严光一-直隐居在富春江的家中，直到80岁才去世。为了表示对他的崇敬，后人把严光隐居钓鱼的地方命名为“严陵濑“”。传说是严光钓鱼时蹲坐的那块石头，也被人称为“严陵钓坛”。
由于严光不屈于权势，不惑于富贵，正是孟子所说的“威武不能屈，富贵不能淫”的精神，因此成为儒教所推崇的隐士典范。可谓放得功名，便可脱俗。