吴孙权背后使坏，便派尚书令陈震出使东吴修好。陈震是李严的同乡，他在出发前告诫诸葛亮："李正方腹中有鳞甲"，暗示李严心术不正，应早作防备。诸葛亮以"大事未定，汉室倾危，伐平之短，莫若褒之"为由，表示自己与李严，必须"相忍为国、并肩合作"。
公元230年，曹魏大司马曹真进逼汉中，诸葛亮督请李严率二万军马急赴汉中拒敌。李严不满自己被调离江州，私下让人传谣，说曹魏司马懿等已设高位诱降于他。诸葛亮洞知其意，为求安稳，上表封迁李严为骠骑将军，又让其子李丰接替督统江州防务，李严这才北上汉中，期间他将名字改为李平。
莅年夏季，诸葛亮出兵祁山，李严负责督运粮草。其时天不作美，阴雨不绝，粮草运输供应困难。李严遂派参军狐忠、督军成藩传话给诸葛亮，痛陈客观难处，要求撤军。深谙"皇帝不差饿兵"之理的诸葛亮，只得答应退兵。
李严闻知前线军队已经回撤后方，又故作惊讶地反问："军粮充裕，雨水已息，道路归畅，为何要退军呢？"意在解脱自己督办粮草不力之责，将延误战机之错栽在诸葛亮身上。同时又上奏刘禅，诓称说："军队伪装撤退，实为引诱敌人跟进，以便与其决战。"
诸葛亮终于认清李严的自私自利面目，就将李严前后书疏原本手迹上呈刘禅审察。明了李严阳奉阴违的刘禅大怒，顺应诸葛亮、吴懿等大臣奏请，将李严废为庶民，流放梓潼郡，即时下四川省梓潼县。但诸葛亮仍力保李严之子李丰继续从政，并鼓励李丰"若与蒋琬协力从事职务，必可开启道路。"
公元234年，诸葛亮病逝于北伐征途。消息传来，李严悲惊交加，因为他明白，如果诸葛亮延年益寿，那么以诸葛亮的胸襟，迟早会想到他并起用他，现在诸葛亮走了，其他大臣再无可能理他，如此忧虑痛苦，以致发病而亡。
史载，李严之子李丰，后来官至朱提太守。