崂山古称劳山、牢山、辅唐山、鳌山。山名的由来，大概与秦始皇登临此山有关。宋代乐史著的《太平寰宇记》称：“始皇登劳盛，望蓬莱，以劳于陟，即名劳；又以驱之不动，称牢。”明顾炎武亦说：“秦皇登之，是必万人除道，百官扈从，千人拥挽而后上也。……是必一郡供张，数县储待，四民废业，千里驿骚而后上也。于是齐人苦之，而名曰劳山也。”唐玄宗时期，特敕许王到崂山炼长生之药，并将崂山更名为“辅唐山”。到了元代，全真派真人邱处机见此山形似巨鳌，便易其名为“鳌山”，有诗云：“牢山本即是鳌山，大海中心不可攀。上帝欲令修道果，故移仙踪近人间。”清代才正式定名为崂山。

崂山自古就被誉为“海上仙山”，“神仙之宅，灵异之府”。《史记》记载，春秋战国时期，有一个仙人名叫安期生，在琅琊郡海边以卖药为生，据说他吃的枣子大的象瓜。他后来得道成仙，活了上千年，被称为“千岁翁”。秦始皇东巡琅琊时，曾经召见过安期生，密谈了三天三宿。安期生离开时，给秦始皇留言，“千年之后，求我于蓬莱山下。”后来，秦始皇为了寻找神仙安期生和长生不老之药，曾派方士徐福率人在此登船入海，没有返回。

西汉武帝时，武帝亲自到此祭祀，希望可以遇见仙人。如此通灵宝地，自是许多修炼人進行修炼的佳所。从秦汉以来，就有修道之人在此修行，比如西汉的张廉夫，唐时的许王，宋代的乐正子长、刘若拙、甄栖真等。根据明黄宗昌《崂山志》卷五记载，乐正子长，不知是哪里的人；曾经在崂山遇到神仙，神仙向他传授了巨胜赤散方，他服用后，年龄过了一百八十岁，面色还象儿童一般。后入崂山深处，不知所终，大概是羽化成仙了。乾隆《山东通志》卷三十载，甄牺真，单州单父人。因为举進士不第，所以来到崂山访道，后来正式修行，容颜也逐渐发生了改变。

金、元代是崂山道教的兴盛时期，先后有大批道士来此山修道。最著名的道士是全真道北七真之一的邱处机。此外还有李志明、刘志坚、王嘉、孙不二等。李志明，全真道士，居住在上清宫十二年和明霞洞（崂山南部昆仑山腰）二十五年。据说他年八十，步履仍然轻健。有弟子近五百人，后不知所终。王嘉禄，新城人，年少时進入崂山修行，遇见道士传授给他五禽之术，修炼时间久了，他就不吃食物了，有时吃松柏叶。明清时期，崂山道教继续发展，相继又有一批道士居此修道，比如徐复阳、张三丰、李守真等。《崂山志》卷五记载，徐复阳，号太和子，曾经得到李灵仙的秘传，后隐居在鹤山遇真庵，修炼成仙。张三丰，从青州来崂山居住了一段时间，留有张仙塔、邋遢石等遗迹。李守真，滕县人，少游牢山，遇异人授以修炼术，后修炼成仙。

众多得道之人在此修炼，自然留有许多仙迹，主要体现在宫观上。崂山上最早修建的宫观是西汉时建的太清宫。宋太祖建隆元年下诏重修太清宫，永为修真之所。宋时又修建了大批宫观，如上清宫、太平宫、百福庵、石佛庵等。元代崂山又增建了一批宫观，如迎真观、通真宫、华楼宫、黄石宫、众仙宫、遇真庵、圣水庵等。明清时期，崂山除对旧有宫观作过修葺外，未新建宫观。现存清宫、上清宫、太平宫、华楼宫等。此外，在太清宫以北，还有华严寺、鱼鼓石、那罗延窟、八仙石、棋盘石、明道观等仙家遗迹。华楼宫以东有八仙过海时聚会的“聚仙台”等。

古人认为崂山“三围大海，背负平川，巨石巍峨，群峰峭拔，真洞天福地、一方之胜境也”。李白有诗《寄王屋山人孟大融》，开篇即记述了在崂山遇仙之事。