《神仙传》记载，远古时期一位叫广成子的仙人居在崆峒山的一个石室里。当时的轩辕黄帝听说了广成子的仙迹，就专程去造访他，并问他：什么是修道的要诀。已经活了一千二百岁的广成子说：“在你所治理的天下，不到迁徙的季节候鸟就飞走了，秋天未到，草木就凋落了，你说我能和你谈道吗？”黄帝惭愧的退出了。回去后，他不理朝政，闲居了三个月，然后又去拜见广成子。这回，他知道真道之难得，跪着来到广成子面前，再次叩拜，求问治身之道。广成子回答说：“至道之精，杳杳冥冥，无视无听。抱神以静，形将自正。必净必清，无劳尔形，无摇尔精，乃可长生。慎内闭外，多知为败。我守其一，以处其和，所以活了一千二百岁，没有一点衰老的迹象。得我道法的人可以成为一国之君，得不到我道法的人只能是世俗之辈。我的道会将你引入无穷之门，畅游于无极之野，与日月同辉，与天地共存。世人都死去时，仅有我，依然长存于天地之间。”黄帝听了后，恍然明白了真道，从此走上了修炼之路。因了这段故事，后来道教尊崆峒山为“天下道教第一山”。

广成子之后，有容成公和赤松子在崆峒山修炼。容成公，据说是黄帝的老师，后来在周穆王时期再次出现。他的头发白了能变黑，牙齿脱落了可长出新牙。他很早就已经得道，可以在天地间遨游。赤松子，是神农帝时期掌管雨的官。他常常去昆仑山上，在西王母的石室里修行，并可以随风雨自由上下。神农帝的小女儿跟随他学道，也成了神仙，后来他和赤松子一起飞升。周时还有长桑子的徒弟韦震也在此修炼。

秦汉时期，黄老道盛行，在崆峒山上修炼的人也并不少见，但载于史籍的很少。当年的秦始皇和汉武帝因仰慕仙人，便仿效黄帝，也曾来到崆峒山访仙。史载，秦始皇来到崆峒山下后，因山高路险，只得放弃登山回转。而后来的汉武帝则在公元前112年5月登上了崆峒山。

魏晋时期，崆峒山道教开始兴盛，唐宋元时期走向繁荣，在此修行的知名道士有唐代的钟离权、伍符，宋代的陈宗秀，元代的姜公等。《列仙全传》和《东游记》记载，钟离权为八仙之一，相传他是天界的仙人，因有过错而被贬到凡间。他曾为将军，后与兄长钟离简在华山三峰寻道，遇上仙人王玄甫，又遇华阳真人，传以太极刀法，火符内丹。此后，钟离权一人出外云游，一天他在崆峒山紫金四皓峰歇息。忽然石壁猛响一声，门户大开。钟离权直入其中，见一玉匣，打开一看，是神仙秘诀。钟离权将秘诀放入怀中。当他一走出山洞，其石复合如初。他在紫金四皓峰住了数日后，又回到华山，按照神仙秘诀所说的勤于修行。又过了一段时间，一天，忽见五色祥云布满屋子，仙乐阵阵，有仙鹤呼叫他说：“玉帝有命，我来迎你回天宫，恢复你的旧职。”钟离权飞升前将神仙秘诀授给了钟离简，随后乘上祥云仙去。

明朝著名道士张三丰亦曾在崆峒山上修行5年，还显露了仙迹。明末清初，崆峒山道教走向衰落，虽有道士在此修炼，但知名的比较少。

大概在秦汉时期，崆峒山上就开始修建宫观。唐宋元时期，扩建并建造了一批宫观，如唐时建造的轩辕宫、问道官等，宋时建真武殿。期间因为战火和灾害而大部分损毁。明代万历时期修建了八台、九宫、十二院等建筑。八台指东台、西台、南台、北台、中台、天台、灵龟台、八仙台；九宫指紫霄宫、飞升宫、五龙宫、遇真宫、老营宫、太和宫、王母宫、静庆宫、询道宫。不过，现仅存宫观十五处。太和宫是崆峒山最大的道观，主要殿堂有真武殿、玉皇殿、老君殿、三官殿、太白殿、祖师殿、药王殿七座。其中老君殿是供奉老子的地方，分为上下两层，上层供奉有太上老君坐像，两侧墙壁上是明朝嘉靖年间彩绘“太上老君八十一化图”，再现了老子的不同化身。

佛教在东汉时期传入中国后，大约在唐初在崆峒山上也开始了发展。唐贞观年间，仁智法师在崆峒山开辟丛林，凿通了通往最高峰的唯一通道“上天梯”，唐太宗御赐创建了明慧禅院，也称“滹陀寺”。仁智法师被称为崆峒开山祖师。在此修炼的著名僧人还有宋代的法淳、元代的槊里吉查思揭兀、明代的补岩、亮旭等。此外，唐、宋时期两度修建“法轮寺”，该寺是当时最为有名的寺庙之一。元代修建了“宝庆寺”等。

既然佛、道两家的修炼人都曾在崆峒山上修行过，那山上的仙迹，除了寺庙宫观外，自然还有许多。比如二郎石、老君炼丹台、药王洞、玄鹤洞、青龙洞、仙人峰、雷声峰、老君峰、舍身崖等。

二郎石在崆峒山后峡四沟口上山路对面的胭脂河谷中。这是两块巨大的方形、青褐色石块，每个石块约有百多吨重，高宽各为4米。河水流经两石，别有一番景致。令人称奇的是，两块巨石相对处，均有一个洞孔。传说当年黄帝到崆峒山向广成子问道，大臣们便在山下挖石取土，好堆砌成山，迎接黄帝下山。仙界中的二郎神正好路过此地，也加入到了筑山队伍中。因为二郎神力大无比，所以山筑的非常快。玉皇大帝看见了，就说：“岂能高过崆峒山！”他因此下令停止筑山。神喻传达时，二郎神正从大象山取下两块方形巨石，并在石上打好眼准备挑上山去，听到玉皇的命令后，他便将两块巨石放置在河谷中。这就是二郎石的来历。

东台悬崖绝壁上的玄鹤洞，悬在半空。相传洞里曾有一只玄鹤，本是广成子座前的仙童，因触犯清规，被广成子变为玄鹤，打入石洞。

明代文人杜陈讲有诗名为《崆峒》，描绘了崆峒的优美山色和雄伟景致，诗曰：