元272年，吴国西陵守将步阐，因担心吴主孙皓拿其开刀，举城投晋。晋武帝司马炎即派杨肇、羊祜及徐胤各率一路大军牵制、攻击吴军，以助步阐守城。但由于吴国名将陆抗的卓越军事指挥才能，三路援军败的败，撤的撤，因此孤立的步阐最后因城陷被诛三族。
"西陵之战"后，有官员上表弹赅羊祜："羊祜率军八万多，吴军不过三万，羊祜在江陵按兵不前，使贼兵备好攻守战具，并只派杨肇这支偏师深入险地，兵少而粮草不继，致使我军失利。羊祜违背诏命，没有大将节操，应免去官职，保留侯爵回府第闲居。"结果，羊祜被贬为平南将军，杨肇则被贬为平民。
羊祜认真总结"西陵之战"教训，他觉得：吴国的国势，因于吴主孙皓的暴政，已呈衰退状态，但仍有一定实力，特别是荆州尚有陆抗这样的优秀将领主持军事，因此平吴战争不宜操之过急。于是，他采取军事蚕食和提倡信义的两面策略，以蒙弥吴国。
羊祜运用信义之举有"义释被俘吴将"、"相约交战时间"、"等价交换粮绢"、"伤禽遣还吴军"等，尤为让人称道的是，听说吴军主帅陆抗患病，羊祜对症送药，以至陆抗经常告诫将士们："羊祜采取以德感人策略，我们千万不要为小利而侵扰晋国。"
尽管吴国出了陆抗这么一个懂得羊祜"良苦用心"的良将，但天妒英才，陆抗病逝于公元274年，之后吴国再也无人能察羊祜，加上吴主孙皓对外穷兵黩武、对内打压异己，终于在公元280年，吴国被晋国吞并。
羊祜虽然没能亲自参与伐吴之战，但基于指挥此战的将帅如王濬、杜预等皆系他生前力荐，且伐吴方略也为其制订，故被冠"西晋灭吴的奠基者"之誉。读者如对羊祜军事业绩抱有兴趣的话，敬请搜看本文姊妹篇"闪烁星中有羊祜"。