永平十一年，明帝敕令在洛阳西雍门外三里御道北兴建僧院，取名白马寺。同年秋，江夏安陆黄氏一户人家喜添一名男婴，因院中桂花香气扑鼻，故取名黄香。
黄香自幼家境贫寒，没钱供他读书，他从小就一边帮家里大人做事一边向附近有学问的人请教学习。当地读书人见黄香这么小就求学好问都感到惊奇，于是十分喜爱他，对他传授知识也都不曾有所保留，几乎倾囊相授。
黄香九岁时母亲因病故去，至亲的离世使他幼小的心灵遭到了巨大的打击。黄香一度茶饭不思神志恍惚，后来生了一场大病竟然差点死掉。黄香在昏沉中呼唤着母亲，无论大夫怎样叫都醒转不来。黄香的父亲哭泣着抱起黄香说道：“我到底犯了什么样的过错，上天要一次带走我的两个亲人。”奇怪的是黄香好似听到了他父亲的声音，呼吸慢慢平稳下来，终于在几日后恢复了正常。
黄香病愈后对父亲格外悉心照顾，平日里和父亲一起操持农活，回到家后还要主理家务。天气热时他不顾自己一身汗渍，在父亲的床边扇着扇子伺候父亲睡觉，天气冷时又提前钻到被褥里替父亲把床暖热。由于他的尽心尽孝和多年来的刻苦求学，名声远播到京师洛阳，天下人都知道江夏安陆出了一名孝子名叫黄香，且年纪轻轻就博通经典，一时间名声大噪。黄香十二岁时，江夏太守的刘护听说他的事迹后十分喜爱，命人召黄香进入自己府里做官，担任门下曹吏，成为了大汉几百年来最年轻的官员。
在任上黄香不敢有丝毫怠慢和狂傲，勤勤恳恳学习政务，本本分分为官，闲暇时间除了陪伴父亲以外就是在家闭门读书。
极高的名声和良好的政绩为他身边带来了更多慕名而来的学者和朋友，黄香十五岁时已经可以广泛地诵习儒家经典，深求精通道德学术，写得一手好文章。京师的人称赞他说：“天下无双，江夏黄童。”
虽然年纪轻轻已经名满天下，但是黄香并不骄傲自满，在家时依然帮助父亲做些农活，对邻里乡亲也恭敬有加，丝毫没有“天下无双”的狂态。附近的乡民有求于他，他也尽数悉心帮助，时间久了人们提起他无不交加称颂。
秋冬交替时山上的枯木变多，黄香时常去后山打柴。虽然自幼博览群书，但是从小做家事的他身体并不孱弱，在荒芜一人的空山上黄香一边背书一边砍柴，兴头来时乱挥一通，久而久之居然慢慢地参透了些许刀法上的心得。慢慢地黄香发现通过某些技巧砍起柴来更加省力，或者用怎样的手法砍柴效率更高。他本就是不出世的神童，渐渐地竟参悟出一套刀法来。
一日黄香从山上打柴回来，见到路上有一条两三尺长的怪虫在不停挣扎，艰难地往河溪处挪动。黄香吓了一跳，本能地想抽出柴刀将那怪虫斩了。可是离近一些观看时才发现，那怪虫生得像蛇又无鳞，似虫又有骨。黄香围着怪虫看了几圈，见它一直往身旁的水源处移动便猜到了，想是那怪虫不知遇上什么奇事，竟从水里捞到岸上，现在眼见池水就在眼前，但是精疲力竭的它却是再难往前蠕动半分。
黄香心念怪虫啊怪虫，你我无仇无怨，今日我见你遭遇灾难，就如孟子说的：仁之胜不仁也，犹水之胜火也。今之为仁者，犹以一杯水救一车薪之火也。火不熄则谓水不胜火，此又与不仁之甚者也
。
黄香这般想着，便伸手去拿那怪虫想助它回到水中，算是应了孟子所言，行一件仁义之事。可没想到那怪虫身子甚滑，黄香出手去拿没料到那怪虫在手中滑腻腻一溜，居然从手心里逃了出去。
怪虫以为黄香要来害自己，不知道又是从哪里来的力气，在地上拼命挣扎摆动起来。黄香出言说道：“虫儿啊虫儿你不要害怕，我不是来害你的，我见前方有水，想助你返还水中。”
然而奇怪的事情发生了，那怪虫听到黄香这样说罢居然好似听懂了一般，于是逐渐安