黄崖关长城始建于北齐天宝七年（556年）。唐代，安禄山在这里驻扎其精锐部队――雄武军。杜甫《渔阳》诗中写道：“禄山北筑雄武城，旧防败走归其营。系书请问燕耆旧，今日何须十万兵。” 诗里的雄武城，就是黄崖关。《方舆纪要》载：“雄武城在州东北，唐天宝六载（747年）安禄山筑。”

明代，戚继光为蓟辽总兵，镇守蓟州16年，期间重修了黄崖关长城，增建了凤凰楼、八卦街和许多楼台。明永乐年建黄崖口关，成化二年（1466）建太平寨，后经隆庆、万历年大修，建成正关、水口、东西稍城和砖墩等设施完备的防御工程体系。

清康熙《蓟州志》载：“黄崖关边墙九十三里，东起拦马峪，西至松棚顶，楼台四十五座，墩台八座，边储屯粮地三顷四十九亩七分。”这里曾发生过无数次惊心动魄的战争。

1985～1987年，重新修复了蓟县古长城的黄崖关和太平寨两个开放点，共修复墙体3025米,楼台20座，八卦关城1座，正关楼1座,寨堡1座,为中国修复长城工程中最长的一处。1986年10月～1987年9月进行黄崖关第三期修复工程，并建黄崖关长城博物馆，展出古代兵器、戍卒生活文物、碑刻，同期建有《百将墨迹碑林》和《百家墨迹碑林》。

1992年4～7月对水关进行修复。9月，建《毛泽东诗词墨迹碑林》。

1994年以来，黄崖关长城先后被天津市委市政府命名为“爱国主义教育基地”、“国防教育基地”、“十佳青少年文化活动娱乐场所”。