之所以能够当上南唐大将军，完全因为他出身将门，他的父亲皇甫晖是南唐的大将，威望很高。这皇甫晖本是北方人。后晋建立后，他出任密州刺史。
后晋天福十二年（947年），契丹南下，灭后晋。于是，皇甫晖率部投奔南唐，受到李璟的重用，历任过歙州刺史、神卫都虞候，后任奉化军节度使，加同中书门下平章事，镇守过江州。在显德三年（956年），后周攻掠淮南，皇甫晖带兵誓死抵抗，最后兵败被擒，因为伤重拒绝就医而亡。
这番英勇事迹，使得李璟、李煜都对皇甫晖很敬重，因此，觉得将门之子的皇甫继勋，也能可堪大用。
这一日，皇甫继勋纠结了几个副将、都虞侯，讨论着是否还继续抵抗下去。
皇甫继勋说道：“诸位，现在城外的大军有十五万之多，日夜勐攻，士气如虹，各地的驻军都不敢前来勤王救援，而朝中掌握军务的是陈乔和张自等人，他们力主死战，但他们是一介书生，对军务一窍不通，没有任何措施，就这样硬耗下去，几个月后，城内的将士和百姓都要死绝，所以，为了诸位荣华富贵，为了城内百姓的安危，为了我们自己的家卷，决不能就这样鏖战死守下去，否则，大家谁也别想活命了。”