罗浮山自古就是一座仙山，至今还流传着许多神仙的故事。

根据《列仙传》和《神仙传》所载，周灵王时，有仙人浮丘公带着王子晋上嵩山修道，后来曾云游到罗浮山修行。秦时有个叫安期生的人在东海一带卖药，救治病患，时称千岁翁，曾经在罗浮山涧中采菖蒲服用，今菖蒲涧因此得名，后据说在此飞升。还有一个叫桂父的象林人，肤色有时是黑色的，有时变白，有时变黄，有时变赤，南海人都非常尊崇他。他常服食桂花和葵花，并配制成桂丸，制一千粒用十斤桂花，多少代人都见过这种丸子。他的道术遍布东南，后来在罗浮山成仙。除此之外，秦朝时还有霍龙，汉时有朱隐芝、华子期、东郭延年等，皆在此山得道成仙。

明朝陈木连《罗浮志》卷四和清宋广业《罗浮山志》卷四称，三国时期，著名的吴国道士葛玄在罗浮飞云顶炼丹成仙，其弟子郑思远也在此山修炼成仙。不过，也有史书说他是在云南苍山或者庐江马迹山隐居修行后羽化成仙。哪种说法正确，目前已难判断。《晋书·葛洪传》载，东晋道士葛洪晚年居住在罗浮山修行炼丹，他还与另一位后来亦成仙人的鲍靓常常在此彻夜谈论修炼之事，因此在山上留有一些仙迹就不足为奇了，最有名的是“遗履轩”。相传一天葛洪与鲍靓正相谈甚欢，一直到拂晓十分也没有睡意，忽然，一对玄燕向他们飞来。二仙一时兴起，将燕子网下，不料发现却是一双神靴。所以此地便留下了神仙遗履的传说。在这个遗履轩上，还有一块形如卧榻的青石板，传说古代曾有一位仙人在此静卧。

葛洪有一弟子名黄野人也是居住在罗浮山较早的道士，跟随着葛洪炼丹。葛洪仙逝后，他得葛洪仙丹一粒，服之成为地行仙。东晋时，敦煌人单道开从南海進入罗浮山修行，活了一百多岁。隋唐时，道教在罗浮山有了较大的发展，一些道士如苏元朗在此修行，传说活了几百岁。还有轩辕集，也活了很长时间，面容不见衰老。更为奇特的是，他居暗室之中，却可以看到数丈远。据说他每次去深山中采集药材，毒蛇猛兽不仅不伤害他，而且还来保护他。他治病时，只要用布巾一挥，病人立时就治愈。后来唐宣宗召见他询问长生的秘诀，他的回答是：“绝声色，薄滋味，哀乐一致，德施无偏，自然与天地合德，日月齐明。”另有一道人陶八八曾经传授给颜真卿刀圭碧丹，并在罗浮山修炼成仙。

宋元时期也有大批道士在罗浮山修行。比较知名的有南宗五祖之一的陈楠，白玉蟾，邹葆光，张月窗、萧集虚等。明清时，在罗浮山修行的道士知名的有徐子明，梁可澜等。

两晋南北朝时，罗浮山尚没有正规的道观，只有简陋的庵舍，主要是葛洪所建的四庵：都虚（后称冲虚，即南庵），孤青（西庵），白鹤（东庵），酥醪（北庵），其后皆加扩建，称观。隋唐时，罗浮山已建起一批宫观。最早修建的是冲虚观。五代南汉时在冲虚观东建九天观，宋代改名为明福观。有在葛洪西庵基础上建天华宫，宋代时改为长寿观。宋元续有隐，知名者亦不少。宋元时期，罗浮山又建有一批庵观，如广莫庵，见日庵等。罗浮山旧有九观十八寺二十二庵之说，明清之后，许多已经被废弃，现尚存五观五寺。道教五观，即冲虚观、酥醪观、九天观、白鹤观、黄龙观。其中冲虚观中有仙人葛洪炼丹时取水的“长生井”和洗药的池子。

罗浮山上还有一处景致非常优美的所在：朱明洞。据说是葛洪修道成仙的地方。

唐朝诗人李贺曾作《罗浮山人与葛篇》：