不注意时来到李进身边，跟他约定今晚时分在沅南的桃花源处见面。
武陵南面的沅水畔有一处桃源县，因背山面水地形隐蔽，自先秦时期便常有百姓来此进山避难，山中多有桃树，故而也叫桃花源。
李进应邀在下城之前就溜出了武陵治所临沅县，摸着黑一路往桃花源处寻去，待赶到时果然发现黄海棠和那外乡人等候在此。外乡人见李进来到便说：“掌门人命我传你一套功法，起初我是不同意的，毕竟你不是黄氏门人，但募兵时掌门人曾有言在先，凡参与过此次平叛的都有资格学习，所以我便破例教你一式。”
那外乡人说着便要演示功法，黄海棠一眼看出不是本门精要，便说道：“既然不是黄家的祖传功夫，你何不直接把那残卷给了他？”那外乡人听后一愣，恭敬回道：“尽管这不是黄香老祖的遗物，可毕竟也是武林至宝……”黄海棠有些不耐烦道：“怎么如此婆妈，黄氏后人又不许练这旁门功夫，你便是给了他对你也是没有损害嘛！”
那外乡人当即称是，从怀中掏出一块拓本，双手奉于李进道：“这是白猿仙人的拳法残卷，今日被你得到也算有缘，你……”那外乡人似乎还想再叮嘱几句，并且显然极为不舍这半部残卷，可他既然口口声声称黄海棠为掌门人，当下也不再啰嗦什么，直接把拓本给了李进。
李进当时还不知这本残卷的贵重之处，只是有些受宠若惊的连连称谢。黄海棠笑着问他道：“假以时日，待你的功夫独步天下之后，该如何报答我呀？”李进正色道：“定唯命是从，不敢有半分违逆！”黄海棠满意地笑笑，便和那外乡人消失在夜色之中。
回去后李进苦练残卷上的精要，武功自是突飞猛进，三十岁之前已然把外功练到炉火纯青。这年恰逢武陵太守辞官，李进近年来的声望水涨船高，在前任太守的推荐下自然而然当上了武陵郡的太守。
李进在武陵郡担任太守的九年间，一方面孜孜不倦地习武修炼，另一方面选派品德良好的官员任职，几年下来郡县之内的乱军贼寇越来越少，都在李进的感化下恢复生产农耕，郡县进一步清平。梁太后临政之后听闻武陵郡李进之事，便下诏增进秩二千石，赐钱二十万。同年，江湖
上有四人声名鹊起，被世人尊称天下四绝，其中四人之中以李进的武功和身份最为高贵，是以被称为天下四绝之首。
当李进和黄海棠再度重逢时，也是天下四绝首次聚首。李进当时已经忘了初次见到剑神李彦和枪王童渊的印象了，唯独记得这么多年过去，黄海棠仍然是那个娇艳明媚的少女模样。李进多年不娶，心中正是等候着一个人的归来，可再度重逢之后李进才明白，人的确是有云泥之别的，昔日的少女依旧停留在貌美如花的年岁，而自己不知不觉已经两鬓花白，倘若一意孤行，只怕惹得天下英雄嘲笑。
于是李进极力克制，甚至假装不认得黄海棠。这令不谙世事的黄海棠大为失望和难过，在她看来，李进获得了今天这样的名望以后居然转脸不认人，似乎把当日在桃花源的一切都付诸脑后，从而绝口不提了。
黄海棠质问李进，李进便推三阻四地避而不答。黄海棠辱骂李进，李进也就默默听之任之。后来黄海棠实在没有办法了，她怎么也想不明白，为何这个男人功成名就后就要立即和自己撇清关系，从此一刀两断？
在四绝的切磋中，黄海棠处处施以杀招，但都被李进依次化解。李彦和童渊看出这二人关系不简单，于是就退出了混战，留他二人在此争斗。黄海棠打到后来筋疲力竭，仍是破不了李进的穿山掌与极其深厚的内功。黄海棠怒极反笑道：“好哇，当初赠与你的半部残卷，没料想竟然比我黄氏武功还要了得，你可真是捡到宝了啊！”
李进有口难言，更是无法在一个妙龄少女面前表露出自己颓然迟暮的感情。李进板起脸来不发一言，任凭黄海棠如何哭闹，