在组建这个机构的时候，叫武德司，太平兴国六年改为皇城司。早期的职责主要是皇宫禁卫、刺探内外情报、皇帝近身警卫、监察朝廷各部门、地方官府及各级官员。设立初期，没有缉捕、审判、定罪和监押职权，自太宗时增加了这些职能，皇城司的权力越来越大。徽宗直到亲政，只知道有这么一个机构，从朝廷机构设置和职权说明上，也知道是直属皇上领导，并且认得皇城使，可一直就没有什么感觉。有一次，他还曾对曾肇说：“弄个皇城司有嘛用？对外打仗有正规部队，对内剿匪、平叛、治安有地方厢军，皇上我的安全有神策军、羽林军，干嘛还要设个皇城司？”
当时曾肇只说：“皇城司有独特的地位和作用，是皇上不可或缺的保卫和依靠力量，任何时候都只能加强，不能削弱。”
但徽宗很是不以为然。随着徽宗执政时间的推延，才渐渐看出了皇城司的特殊用处。太后退位前，在给徽宗交代重大事项时，特别说明了皇城司的地位和作用，并交给他一箱子由皇城司报送的机密材料。也正是这些机密材料，才让太后准确地掌握了章惇的一些动态和情况，为解决章惇问题提供了有力证据和极有价值的材料；更有关于辽国和西夏的情况和大宋边疆的守备情况，也有一些官员的贪腐和违纪情况，都属于密报。