铁山寺因山得名，始建于东汉末年，是汉族出家的第一位僧侣严佛调所建，为其开山之道场。他是汉桓帝、灵帝时在洛阳译经的安息僧安世高的弟子。他研究佛学数十载，第一部汉僧佛教著作《沙弥十慧章句》就是他所著。据《出三藏记集》记载，他译著有《法镜经》等。铁山寺历代扩建，到明万历年间，寺庙规模达到鼎盛，形成以铁山寺为中心，汪姑寺、清凉寺、龙山寺等十四座寺庙群落，被称为苏北、皖东地区的“小九华”，僧尼达到千人。清末铁山寺被山匪所占，最终毁于战火。为了满足当地佛教文化的需要，铁山禅寺于2001年10月3日举行大雄宝殿奠基仪式，现已完成大雄宝殿、山门殿建设，在建的工程是天王殿。大雄宝殿高度为24.8米，占地880平方米，比扬州的平山堂还要高大，为苏北第一大殿。今后将逐步建成东西配殿以及客堂、方丈楼、观音阁和藏经阁等建筑，可成为苏皖两省中部地区的特大型寺庙群。