关于武夷山山名的由来，大概有两种说法。南宋白玉蟾著的《武夷重建止止庵记》说，古代的仙人彭祖居住在此山，他有两个儿子，一名铿武，一名铿夷。彭祖880岁的时候，上天成仙去了。临走时嘱咐两个儿子要继承祖业，为百姓造福。此后，他们开山挖河，并在山上种植百花仙草。人们为了纪念他们，就各取其名字中的一个字，将此山命名为“武夷山”。明代天师张宇初在《武夷山志·序》中称：“昔有神人受帝命统录地仙，尝降于山巅，自称武夷君，山因以名。”道教认为武夷山是“真升化玄天”，也就是说，各路地仙修炼得道，将上天升入仙班之时，都要来到武夷山，再经过一次考核，过关后才能真正進入仙班。据说武夷山由仙人刘少公掌管。

清初董天工《武夷山志》卷十八记载，武夷山很早就有仙人居住。远古时有彭祖，秦时有皇太姥、武夷君、控鹤仙人、十三仙人等。《史记·封禅书》中记载了汉武帝派使者到武夷山祭祀武夷山神武夷君之事，而且祭祀的用品是干鱼。不过，从汉之后至唐初的千年时间中，武夷山中的仙人踪迹没有见诸于史书。

唐朝初年，开始有修道之人现身于此。《武夷山志》记载了道士许碏的故事。许碏是唐时的高阳人，先在王屋山学仙，后遍游名山。他曾经来到武夷山绝顶，并留下“许碏自峨山寻偃月子到此”的字迹。据说他后来飞升而去。五代时有道士李良佐长居此山，后在此坐化。

宋代有道士多人在此修行。如徐熙春，宋熙宁（1068～1077）时在市集上卖酒，后遇铁冠道人赠给他五花草。徐熙春服下后，遂不再吃东西。此后，他来到武夷山上修炼，后在大王峰东壁坐化。李陶真，熙宁（1068～1077）末年来到武夷山修炼。他喜好吹铁笛，每次吹笛时，笛音都似有穿云裂石之音。后来他在平里的通仙岩修行。一日留下一首诗辞别众人后，不知所踪。黄朴，绍兴（1131～1162）初年，来到武夷山访仙。遇到一仙人传授成仙之法，后坐化于三仰峰。还有郭道人、白玉蟾、陈丹枢等，均在此修行坐化。元代，武夷山道教继续发展。元初茅山派道士张德懋（号希微子）居武夷山天游道院。后又有道士赵嗣琪跟随其修炼。《武夷山志》卷十八记载了一个叫陈冲素的人，在武夷山修道，后成仙而去。此外，还有全真道的马钰、彭日隆、金志扬等也在此修行。

唐朝天宝七年（公元748年），唐政府在武夷山建了最早的一座道观，名为天宝殿、武夷观，后称冲佑观，俗称武夷宫。南唐时又改称会仙观。宋代是武夷山道教的兴盛期，建有大批宫观，如清微洞真观、云窝道院、橘隐堂、棘隐庵、止止庵等，并将会仙观改名为冲佑观。元代，武夷山除冲佑观修缮后改为冲佑万年宫外，又新建有一批道观，如天游道院、升真观、灵峰观等。明清时期，武夷山道教逐渐衰微。很多道观在清代时被废弃。目前所存道观不多。

因曾有众多道士在此修行，所以武夷山自然也留有众多仙迹。除了上述道观外，还有桃源洞、水帘洞、仙掌峰等。

唐朝的白居易曾作《送毛仙翁（江州司马时作）》一诗，赞美了修道之人对于仙翁升真处的武夷山的无限推崇。