阁皂山古称阁山，又名葛岭，五代范资所撰的《玉堂闲话》云：“南中有阁皂山，山形如阁，山色如皂，故号阁皂山。乃葛仙翁得道之所，七十二福地。”“阁”是说山的形状，“皂”指山的颜色。

关于在阁皂山上修炼之人的记录，今天史籍所见的是从东汉开始的。相传道教创始人张道陵，曾在东汉永元时期来到阁皂山修炼，并在西峰建坛，名为“天师坛”。三国时，吴国道士葛玄在游历诸名山之后，“最后于阁皂山东峰卧云庵筑坛立灶，以炼金丹。”《云笈七签》卷三《灵宝略记》说：“至三国时，吴主孙权赤乌之年，有琅琊葛玄字孝先……志尚山水，入天台山学道，精思遐彻，未周一年，感通太上遣三圣真人下降，以灵宝经授之……三真末降之前，太上又命太极真人徐来勒为孝先作三洞法师。孝先凡所受经二十三卷，并《语禀》、《请问》十卷，合三十三卷。”后来葛玄在此升天成仙。后人用“汉吴神仙”形容在此羽化成仙的张天师和葛玄。

在张天师和葛玄之后，晋代道士丁令威在阁皂山修真得道。今天山北高峰为丁真人坛，又名丁仙峰。其后，葛玄的侄孙葛洪也来此修道。葛玄在成仙前，将“灵宝经”传给了弟子郑思远，后传给了葛洪。《晋书》卷七十二《葛洪传》载葛洪“从祖玄，吴时学道得仙，号曰葛仙公。”葛洪后来传给海安君，海安君传给葛巢甫，葛巢甫在东晋隆安末，传与道士任延庆、徐灵期。南朝刘宋道士陆修静弘扬灵宝经，从此“灵宝之教，大行于世”。葛洪被称为灵宝派的始祖，葛玄为祖师；因为阁皂山有葛仙公修道灵迹，还有葛玄升仙羽化之前，将灵宝法箓传付阁皂山，因此阁皂山成为灵宝派的祖山和圣地。隋唐时，一些道人来此修炼，如孙智谅。阁皂山道教开始走向繁盛。宋代是阁皂山道教的兴盛时期，有众多道士来此修道，如陈元礼、杨固卿、朱季愈等。元代之后，道教势微，知名的道士也不多见了。

大概在南北朝至隋唐期间，阁皂山已建有道观，如灵山（或作灵仙）馆、金仙观等，后被焚毁。此外，还建有阁皂观和仙人、路山、郭公、卧云四庵。宋代，阁皂山主要宫观阁皂观（1118年更名为崇真宫）十分兴盛，内有葛仙公殿。光绪《江西通志》卷二百二十二载，唐代赐名的阁皂观，“南唐又名元都观，宋祥符（1008～1016）中赐名景德。”南宋时的崇真宫已是殿堂林立的大宫观，“道士数百人环居其外，争占形胜，治厅馆，总为屋千百间，江湖宫观未有盛于斯者。”元代，阁皂山道教继续发展。但元以后，渐趋衰微。元至正十二年（1352），崇真宫台基殿俱毁。到了清初，宫观“所存者惟八景坛基。”

作为道教名山，阁皂山上有众多的仙真修道遗迹。除了前面提到的阁皂山西峰的张道陵坛、丁仙峰外，还有葛玄在山的东峰留下的灵宝法坛，用于超度死于战乱的穷魂滞魄；以及金沙池、捣药臼、双鲤石等。明谭嗣先编撰的《太极葛仙公传》说葛玄：“最后于阁皂东峰建卧云庵，筑坛立灶，以炼金丹。于时瑞气祥光，照映山谷。尝于洞口金沙池中浴丹，其泉忽然涌涨，金沙腾沸，至今丹池之内，金沙自沸。又尝于西峰石壁上石臼中捣药，因堕药一粟许，有飞鸟食之，遂不死。至今月夜，其鸟鸣，作丁当杵臼声，世名捣药鸟。仙人琴高尝骑双鲤访仙公于卧云庵，相与置酒酣饮，醉而卧。及醒，双鲤已化为石。仙公乃以双鹤与之，琴高遂乘鹤去，双鲤石至今在后山间。”

此外，阁皂山东峰的礼斗石，相传是仙公礼斗处。山中流水名为葛憩源，因为葛玄曾在此休息而得名。阁皂山的八景玄坛，相传得名于葛玄冲举之日，天帝赐以八景玉舆，玉女峰有葛玄升天遗迹。阁皂山的卧云庵、藏丹室，又是葛仙公炼丹藏丹之处。北宋文人陶弼有诗《阁皂山》，赞美了阁皂山的仙景：