关于王屋山山名的由来，主要有两种说法。《道藏》中说它“山中有洞，深不可入，洞中如王者之宫，故名曰王屋也”。中国早期的地理志《禹贡》记载：“山有三重，其状如屋，故名”。在主峰的峰顶有座石坛，据说是轩辕黄帝祭天之所。当时黄帝与蚩尤打仗，一直无法战胜，于是“黄帝于此告天，遂感九天玄女、西王母降授《九鼎神丹经》《阴符策》，遂乃克伏蚩尤之党，自此天坛之始也”，故又称天坛山。

王屋山很早就成为修炼人的修行之地，并被后来出现的道教列为十大洞天之首，三十六小洞天之总首，由仙人王褒（字子登）掌管，是“五岳、四渎、十大洞天、三十六小洞天神仙朝会之所”。 “每年诸元会日，灵山、真圣皆朝会于此，考校学仙之人及世间善恶，记录在案。”所谓洞天，乃是“山中有洞，贯通诸山，直达上天”，是道教对大地名山神仙所居洞府圣境的总称，也是上天特派真仙直接掌管的圣地。

周太子王子晋，曾隐居王屋山华盖山悟道，号称华盖君；列子云游王屋山撰写了《愚公移山》，道教尊列子为“中虚真人”。西汉范阳人王褒，入王屋山修炼，后得道成仙，“总管王屋山洞群真”。王屋山始称小有清虚之天。根据梁陶弘景撰写的《真诰》卷五，汉时在此修炼并成仙的还有毛伯道、刘道恭、谢稚坚和张兆期。他们一起在王屋山学道四十余年，共同制成了神丹。毛伯道先服下了仙药，然后就死了；刘道恭服下后也死了，谢稚坚、张兆期见此情况，害怕不敢服用，并离山而归。在路上，他们见到了死去的两人，已然成仙。二人悲愕，才知道错过了成仙的机会，遂向他们求道，已成仙的两人给了他们茯苓方，谢、张服用后都活了数百岁。

河上公慕老子之道，也隐居在王屋山修炼。当时的汉文帝对老子的《道德经》推崇备至，不仅自己熟读它，还要求王公大臣们都要诵读。但是他仍有些地方难以弄明白，因此他常常派人四处寻访，希望遇到指点迷津的人。后来，文帝听人们说河上公精通《道德经》的精髓，就派人前去拜访，请教自己不明白的地方。河上公对文帝派的使者说：“道尊德贵，这么严肃的事情怎么能通过别人来代问呢？”于是文帝驾临河上公的草庐，亲自向河上公请教。尽管如此，文帝仍心有不甘，就对河上公说： “《诗经》上讲过，普天之下，莫非王土；率土之滨，莫非王臣。老子也说过：‘道大、天大、地大、王亦大。’君王属于这‘四大’之一。你即使有道行，可还不是我的子民吗？为何这么自高自大，将君王不放在眼里呢？”河上公听完文帝的质问，就拍着掌坐着，冉冉升空，稳稳的悬在空中，离地有数丈之高。河上公俯身向仰视他的汉文帝说：“我上不着天下不着地，中又不为人所累，怎么能算是你的臣民呢？”听罢河上公的话，文帝心知已遇到高人，马上下车向河上公跪拜企求给予指点。河上公见文帝一片诚心，就将两卷经书授与文帝，并对文帝说：“熟研这两卷经书，你所有的疑问都会迎刃而解。这两卷批注道经的著作，只传了三个人，你现在是第四个，切记，万不可显示与他人。”说罢，河上公就在原地消失了。文帝心晓今日遇见了神人，异常珍惜这两卷经书，从此更是手不释卷，精心钻研《道德经》。

此外，东汉的干吉、魏伯阳等也曾在王屋山上修炼，《神仙世界》载：“干吉经常在太行山南曲阳泉上周游，汉成帝河平二年，老子亲授他一部百卷的神书，写在月白色的绢帛上。”这就是道教所传的《太平经》。

西晋时，在此修行比较有名的是魏华存。她隐居在王屋山上修炼四十年，后成仙。成仙时，是龟山九虚太真金母、金阙圣君、南极元君共迎其白日升天。后道教尊其为上清派第一代宗师，南岳夫人，紫虚元君。东晋葛洪也曾在此修炼了一段时间，并写下了《抱朴子》一书，书中称王屋山“正神在其中”、“上皆生芝草，可以避大兵大难”、“有道者登之，则山神必助之”。 南北朝时梁之茅山道第一代宗师陶弘景，一生游遍名山，在其所著的《真诰》中称“王屋山仙之别天，所谓阳台是也。诸始道者皆谐阳台。阳台是清虚之宫也，下生泡济之水，水中有石粒，得而服之可以长生。”

唐代是王屋山道教的兴盛时期，有一大批道士居此修道。主要有司马承祯、李含光、张探玄、柳默然、燕真人、王子登、孙思邈、薛希昌、王重阳、宋德方、完颜得明、元好问、李商隐等。根据《唐王屋山中岩台正一先生碑碣》载，司马承祯二十一岁时，在嵩山拜潘师正为师，大约在武周时去天台山，居住在天台桐柏观；开元十二年（724年），玄宗下诏让其在王屋山居住，后在此羽化成仙。其弟子李含光，开元十七年跟从司马承祯居住在王屋山，后在茅山坐化。燕真人，不知道他真正的姓名。他是王屋里人，居住在阳台观之侧。后晋天福（936～942年）间，他得烟霞养道之诀。据说在其住宅边的井中还得到灵异之参，全家吃了后皆成仙，“一人得道，鸡犬升天”的典故就出于此。

五代时，名道谭峭在此修炼。史书记载，谭峭视世间之乐，不如抛弃的烂砖，常以酒为乐，人称“醉客”。他一生云游了很多地方，“常夏披棉袄，冬着布衫，或卧于雪地，或躺于雨中，人以为死，近而视之，呼吸如故”，故人称“谭疯子”。宋和金元时期，王屋山道教继续发展，在此修炼的道士有宋代的贺兰栖真，金元时的王志祐、张志谨、申志贞、刘道清等。贺兰栖真，《宋史》说“不知何许人”，《赐贺兰栖真敕书并赠诗序碑》则多增补，谓其是谯国人。最开始在骊山白鹿观拜冯洞元为师，冯洞元仙世后，来到终南山修炼。后居住在嵩山紫虚观，再后来，来到了王屋山奉仙观，在此仙化。张志谨，字伯恭，号宁神子。他曾经商，后辞亲学道，拜邱处机为师。云游各地二十年后，来到王屋山隐居修行。到了明清时期，比较有名的道士如明末清初的王常月。

历史上，先后有汉武帝、汉献帝、唐玄宗、宋徽宗等27个帝王来王屋登顶祭天。明代时，皇帝朱棣在北京建天坛，以示从王屋山迁去，天坛峰就成了北京天坛公园的前身。

王屋山在隋唐建有大批宫观，主要有上方院、奉仙观、阳台观、紫微宫、白云道院、灵都观、清虚观、青罗仙人观、三清殿、山神庙、太山庙等，传说轩辕黄帝曾于此处访寻四山，故原称上访院；唐睿宗时改名为“上方院”，是仙人司马承祯初来王屋时居住的地方，金末重修。紫薇宫，据说太宗李世民的叔父李道宗曾在此隐居。奉仙观，宋道士贺兰栖真居住在此。灵都观，是唐玄宗为玉真公主（睿宗之女）所建，金时升观为宫。三清殿供奉元始天尊、灵宝天尊、道德天尊，清虚观供奉清虚大帝。此时的宫观建筑分体现了道教三十六重天的学说。宋代，除原有宫观外，又重新修建了紫微宫，供奉紫微大帝，门内的天王殿上书“天下第一洞天”。金元时期，对王屋山原有宫观進行重修，又增建有若干宫观，如阳台宫等。至明代中期，王屋山主要道观尚大致完好。明中后期，道教衰落，大部分宫观废弃。迄今仅存阳台宫、奉仙观等。据说在阳台宫的石阶上击掌，就会听到鸟叫声，当地人说这是“凤凰鸣”。传说是因为该宫建在了凤尾根部。如果登高远望，的确会发现，阳台宫后面的天坛峰状似凤首，对天而鸣。宫前的九条大山岭，自北向南以扇面形展开，状如风尾。附近的几座小山岭好象凤肩、凤背、凤腰、凤翅和凤心。当地人把这种奇异的地形叫做“丹凤朝阳”。

除了宫观之外，王屋山上还可找到许多仙迹，如上天梯、南天门、瑶池、炼丹处（是老子在洛阳弃官后来此修炼三年留下的遗迹）、琼林台、仙人台、栖鹤台等。

唐朝李商隐有诗《玉山》赞美王屋山的仙家之气：