大涤山，又名大壁山或大辟山。宋潜说友《咸淳临安志》卷二十四《大涤山洞天》条云：“或言：此山清幽，大可以洗涤尘心，故名。”道教将其列入三十六洞天中第三十四，即大涤玄盖洞天，由姜真人掌管。

根据史料记载，约在晋代起，有修道之人开始在大涤山修炼。元邓牧《洞霄图志》卷五载，一个叫郭文的人，河内轵人。十三岁时，在华阴山石室中得到石函，内有神虎内真紫元丹章。晋室内乱之际，他来到大涤山建造茅舍，独居十余年修炼。《仙传拾遗》记载了他的神迹。曾有一只老虎张着嘴来到他的石室前，似乎有事相求。郭文把手伸到老虎的喉中，取出一块骨头来，原来老虎的喉咙里卡了块骨头。第二天，那只虎口中衔着一只死鹿来到石室外献给郭文。从此这只虎就常常跟随在郭文左右，郭文可以抚摸它或牵着它走。郭文如果出山，虎必定跟着他。虽然在城市里的人群中行走，老虎却象犬羊一样低头随行，不敢有半点放肆行为。有时郭文把刻写有文字的竹简放在虎背上，虎就驮着走。郭文有时把到街上去换米、盐的山果竹叶装在筐里，让老虎驮着，虎就跟着他走。晋帝听说后，召他進宫，问他用什么法术驯服了老虎。郭文回答说：“我只是顺其自然而已。人无害兽之心，兽则无伤人之意，何必要用法术呢？你抚爱老虎，老虎就追随你，老虎就如同百姓﹔你虐待我，我就和你为仇，这时百姓就象老虎。治理百性和驯服猛虎，又有什么不同呢？”晋帝非常欣赏郭文所言，就让他做官，但郭文推辞了，继续隐居起来修炼。后来得道成仙。还有一个叫许迈的人，在永和二年（346年）来此修炼，后不知所踪。

唐代，大涤山道教开始兴盛。知名道士张整、叶法善、司马承祯等都来此游历，在此修炼的道士也逐渐增多，比如潘先生、朱君绪、暨齐物、吴筠、白元鉴、夏侯子云、闾丘方远、钱玄同、郑元章等。潘先生，不详名字，遍游山川后，在天柱山停留下来修炼。因为其名声很大，唐高宗敕建天柱观让其居住。朱君绪，入天柱山修炼，后得道成仙。其弟子暨齐物，在大涤山精思院修炼，后不知所踪。夏侯子云，师从仙道司马承祯十数年，承祯成仙后，他在大涤山中开药圃种灵芝之药，后不知所在。

宋元时期，大涤山道教走向繁荣。《洞霄图志》卷五列有宋代列仙、高道二十余人，比较有名的是冯德之、唐子霞、喻天时、陆维之、石自方、叶彦球、李明素、陈希声、俞延禧、王思明、龚大明等。陆维之，余杭人，隐居在大涤山的石室修炼。高宗召见，他称病拒绝前往，后不知所踪。元代著名道士有郎如山、沈多福、邓牧等。明末清初，有龙门派道士相继居于此山，比较有名的是金筑老人、潘太牧等。此后，大涤山道教逐渐走向衰落，在此修行的道士也越来越少。

大涤山上的宫观，以天柱观为最早建造。《洞霄图志》卷六《天柱观记》云，汉武帝元封三年（前108年），在天柱峰麓大涤洞前建坛，唐高宗弘道元年（683年），命道士潘先生在这个地方建天柱观。五代末，改名天柱宫。宋大中祥符五年（1012年）改称洞霄宫。宋朝著名文人苏东坡来此游历时，曾写下《咏洞霄宫》一诗：“前生我已到杭州，到处长如忆旧游。更欲洞霄为隐吏，一庵闲地且相留。”据说苏东坡的前生就是在此修炼的僧人。唐代时，在大涤山上还修建了玉清观、上皇观、精思院等。宋时，除了不断扩建修葺洞霄宫外，又修建了洞晨观、冲天观等。元代除对大涤山原有之洞霄宫、冲天观等進行修葺外，还建造了元清宫、白鹿山房、清真道院等。主宫洞霄宫，元末被毁，明洪武（1368～1398年）初重建，清中期被废弃。

大涤山有大涤、白茆、栖真、石室、归云、鸣凤、蜕龙等山洞，传说是修炼之人修真之处。大涤山下就是著名的大涤洞。大涤洞被称为“日月分精”，洞口缭绕着氤氲的冷气。走近可闻流水潺潺，却深不见底。两千年前，汉武帝刘彻曾派人往大涤洞中投递龙简以祈福祉。

唐白元鉴有诗曰《大涤山》，赞美了此山的清幽：