元189年，汉灵帝病重，任命董卓为并州牧，所部交由皇甫嵩统领。董卓不肯放弃军权。皇甫嵩的侄儿皇甫郦认为董卓抗命，力劝皇甫嵩兴兵讨伐。皇甫嵩坚持光明正大处理，上奏朝廷。董卓对皇甫嵩更加怨很。
莅年，大将军何进召外戚军团进京铲除"十常侍"，岂料引狼入室。忤逆篡权掌控东汉朝廷的董卓，为防有人算计于他，将原京兆尹盖勋征为议郎。盖勋便私下联络带兵三万、驻扎在扶风郡的皇甫嵩，唆使他讨伐董卓。但同样担心皇甫嵩"背后开枪"的董卓，征召皇甫嵩为城门校尉。皇甫嵩是个实诚人，应召将行，手下有人劝他千万别去。皇甫嵩不听，坚持赴任，结果一到洛阳，董卓就将其下狱，择日处斩。
皇甫嵩之子皇甫坚寿素与董卓交好，闻讯快马加鞭从长安赶到洛阳，找到正在大宴宾朋的董卓，求他看在多年朋友的情份上，饶了其父，说罢叩头流泪。董卓起了侧隐，释放皇甫嵩。
公元192年，司徒王允通过貂蝉唆使吕布杀了董卓。有人建议王允让皇甫嵩统领董卓军队，并予安抚，但王允不听，奏请汉献帝刘协任命皇甫嵩为征西将军，负责屠灭董卓宗族。不久，董卓旧部李傕、郭汜攻入长安，杀死王允等。皇甫嵩改任车骑将军，八月，升任太尉。十二月，前职皆被免除。李傕、郭汜等被灭后，又被任光禄大夫、太常等职。
公元195年，皇甫嵩病逝。朝廷赠以骠骑将军印绶，并任命他家里一人为郎官。
公元782年，唐德宗追封古代名将六十四人，并为他们设庙享奠，内中就有"太尉槐里侯皇甫嵩"。公元1123年，宋朝为古代名将设庙，七十二位名将中亦包括皇甫嵩。出版于北宋的《十七史百将传》及成书于明代的《广名将传》，皇甫嵩亦列其中。
有史学者称皇甫嵩是"东汉柱石"、"救火队长"。