杨延昭幼时沉默寡言，儿童时喜欢多做军阵之类的游戏。 杨业曾经说：“这个儿子像我。”杨业每次出征，一定让他跟随军中。 太平兴国年间（976年―983年），杨延昭被补选为供奉官。杨业领兵进攻应、朔二州时，杨延昭担任该军的先锋，奋战于朔州城下，被乱箭射穿手臂，却越战越勇。朝廷派他以崇仪副使职外任景州 知州。当时长江、淮河一带受灾歉收，朝廷任命他为江、淮南都巡检使。又改任崇仪使，知定远军，调任保州缘边都巡检使，委以重任如同京师的使者。
咸平二年（999年）冬，辽军骚扰边疆，杨延昭当时在 遂城。城小而无准备，辽军攻城又很急，合围攻城数日。 辽圣宗的母亲 萧太后督促指挥作战，宋军人人自危很害怕，杨延昭召集城中的所有丁壮登上城上的矮墙，给予兵甲器械使之守护城墙。正好天气十分寒冷，取水泼洒城墙，天明，水全结成了冰，坚硬光滑，敌人不能爬上来。辽军于是瓦解退去，宋军缴获敌人丢下的兵器很多。杨延昭以战功升任莫州刺史。当时 宋真宗驻军大名， 傅潜握重兵停留在中山。杨延昭与 杨嗣、 石普多次请求增加兵力去作战，傅潜都不答应。等到傅潜获罪，宋真宗召杨延昭前往皇上的行营处，他都能回答皇上询问的边疆要务，宋真宗十分高兴，指着他对诸王说：“杨延昭的父亲杨业是前朝的名将，杨延昭统率军队保护边塞，有他父亲的遗风，很值得嘉奖。”宋真宗丰厚地赏赐他，仍令他还任。
咸平三年（1000年）冬，辽军南下入侵宋境，杨延昭把精兵埋伏在 羊山（在今河北徐水西50里，今称“杨山”）西边，从北面乘敌不备袭击辽军，边战边退。等退到西山，宋伏兵发起攻击，辽军大败，俘虏辽军将领，用匣子装着敌将首级献上报功。杨延昭进升本州团练使，与保州杨嗣一起受命。宋真宗对宰相说：“杨嗣与杨延昭，一同在遥远的外地任职，以忠心勇猛亲身效命国家。朝廷中妒忌他们的人众多，我尽力为他们庇护，才至于此。”咸平五年（1002年），辽军进攻保州，杨延昭与杨嗣率领宋军前往救援，宋军尚未摆成阵列，就被辽军袭击，宋军损失较多，朝廷命 李继宣、 王汀代还，将要治他们的罪。宋真宗说：“杨嗣这些人向来以勇猛闻名，将来可获得他们的效力。”随即宽宥了他们。咸平六年（1003年）夏，辽军又进攻 望都，李继宣逗留不敢上前，获罪被削去官职。朝廷又起用杨延昭任都巡检使。当时正谋划秋天御敌的策略，宋真宗诏令杨延嗣和杨延昭分条列出利弊上奏，又调杨延昭任宁边军部署。
景德元年（1004年），宋真宗诏令增加杨延昭的军队达到一万人，如果辽国骑兵入侵，就屯军于静安军的东边。命令莫州部署石普屯军于马村西边用以保护屯田。切断黑卢口、 万年桥敌人骑兵奔击的道路，仍会集各路军队互为掎角追袭敌军，令 魏能、 张凝、 田敏用奇兵牵制敌军。当时 王超任都部署，听任事不隶属之。杨延昭进言说：“契丹驻军 澶渊，距北边境千里，人马都很疲乏，虽兵众但易被击败，凡是抢劫掠夺的物品，都放在马上。希望诫勉诸路军，扼守各自的险要道路，敌兵就可歼灭在此，那么幽、易数州就可袭击而夺取。”上奏皇帝而没答复。杨延昭于是率兵直抵辽境，攻破古城（今山西广灵西南），俘获敌人甚多。
第二次北伐失败后，杨延昭按宋太宗旨意退守河北，任高阳关路副都部署，把守瓦桥关(今雄县城)、益津关(今霸州城)、淤口关(今霸州信安镇)。虽然宋辽边界有九百里“水长城”的阻隔，但杨延昭感到抵御辽军仅仅依靠水泽和一些据点是不够的。经一番调查考虑，根据平原上的土质条件，他决定秘密挖掘地道，建“地下长城”，与“水长城”相结合来抵御强大的辽军。
地道挖掘构筑工程浩大。经雄县，向东北延伸至廊坊的霸州