庐山，古名匡庐或匡山。关于山名的来历，还有两个传说故事。一说是在周威烈王的时候（即公元前四世纪），有一个叫匡俗的来到庐山学道求仙。周王屡次想请他出山，都被他拒绝。后来他潜入深山，盖了一座草庐，安心修炼，最终羽化成仙。因为“成仙”的人姓匡，所以又称匡山，或称为匡庐。人们还把他求仙的地方称为“神仙之庐”。另一种说法是周朝有匡氏七兄弟，喜好道术，他们来到鄱阳湖边上的大山里结庐为舍，学道求仙，因此这座山被称为“庐山”。

由庐山的得名可知，庐山在周时就有人在此進行修炼。三国时期，道士董奉隐居在庐山上修炼。因为医术高明，他常免费为山民治病。一次，有一个人得了疫病，危在旦夕，被人用车拉着来见董奉。董奉叫病人坐在一间房子里，用布巾盖住他，告诉他别动。病人后来说，起初觉得一个什么东西来舔他的身子，痛得让他难以忍受。它的舌头好像有一尺多宽，气息像牛一样，不知是什么动物，舔了很久，它才离去。董奉揭下病人身上的布巾后，给他冲洗，洗完后，就让他回家。临走时，董奉告诉病人：“你很快就会好的，注意不要吹风。”十几天后，病人全身通红，身上的皮已全部脱掉，疼痛不堪，用水洗才能止痛。二十天的时候，病人身上长出了新皮，皮肤光滑如凝脂。

董奉住在山里不种田，每天给人治病，却不收取分文。但是，他有一个要求，经他治好的重病患者，要栽五棵杏树，病轻的，则栽一棵。许多年后，他治愈了成千上万的病人，种下的杏树达到了十万多株，蔚然成林。他让山中百禽群兽在杏林中嬉戏，替他掌管杏林。杏树下不生杂草，像专门有人锄草一样。后来，杏树开始结果了。每到杏子熟时，他就在杏林里盖一间草房作库，并告诉人们：“想买杏的，只管拿一罐谷物倒進仓房，然后装一罐杏子走。不须通知我。”常常有人用很少的谷物换取更多的杏，这时杏林里的一群老虎就会吼叫着追过来，由于惊吓，这些贪心的人就急忙逃命，罐里的杏子因此会掉出不少。到家时，一量剩下的杏总是正好和送去的谷物一样多。对偷杏的人，老虎就一直追到偷杏人的家中把他咬死，死者家的人知道一定是偷了杏，就原封不动的把杏奉还给董奉，并磕头谢罪，董奉就让死者复活。董奉每年把卖杏换来的粮食全部用来赈救贫困的人和在外赶路盘缠不够的旅游者，一年就有两万斛粮食像这样被送了出去。

后来，董奉得道成仙而去。董奉在人间住了三百多年，走的时候，他的容貌仍像三十多岁的人。

东晋武帝太元六年(381年)时，僧人慧远来到庐山宣扬佛法。他们开始住在龙泉精舍，此处离水源比较远。慧远就用锡杖叩地：“如果这个地方能容我们栖身，当使枯竭的土壤中冒出泉水。”话音刚落，水便涌了出来，形成了一条小溪。因此精舍被称为龙泉寺。不久，浔阳一带大旱，很长时间没有下雨。慧远就来到水池边，闭眼诵读《海龙王经》。一会儿，有巨龙从水中跃到空中，随即下起了大雨。

此后，慧远在庐山创建了东林寺。陶侃镇守广州时，有渔人在海中见到神光，乃是阿育王像。陶侃即接回送到武昌寒溪寺。寒溪寺主持僧珍曾经去夏口，夜里梦见寺中起火，只有安置阿育王像的屋子独有龙神围绕。僧珍觉醒后飞驰还寺，果然寺已经被毁，只有放置阿育王像的屋子留存。后来陶侃调任，因为像有威灵，便派人来迎接。数十人刚刚把像放在船上，船就沉没了。在慧远创建东林寺后，他虔诚祷告，阿育王像飘然而至。

慧远在庐山修炼三十余年，弘扬佛法，影不出山，迹不入俗。他被视为佛教净土宗的初祖。清人潘来说:“域中之山，自五岳外，匡庐最著名。……东林寺于山最古，远公于僧最高。东晋以前无言庐山者，白莲社盛开，高贤胜流，时时萃止。庐山之胜，始闻天下，而山亦遂为释子所有，迄于今梵宫禅字，弥满山谷，望东林皆鼻祖也。”由此看来，庐山得以闻名天下，是与慧远和东林寺密不可分的。

南朝时，道教正式進入庐山。道士陆静修为了躲避战乱，来到庐山隐居修炼，并建了庐山第一座道观“太虚观”。他与陶渊明、慧远都是好朋友。据说他仙化之时，肤理辉烁，目瞳映朗，满室异香。陆静修之后，有众多道士来庐山修行，最多时有数千人，如唐代的李腾空、蔡寻真、李白的夫人宗氏，五代的女道士杨保宗，宋代的陈搏等。宋代之后，庐山道教走向衰落，见载于史籍中的知名道士也比较少了。

史料记载，唐朝的诗仙李白曾五次登临庐山，陪同宗氏夫人寻找庐山女道士李腾空。在夫人出家作了道士后，李白赋诗两首。一首为“君寻腾空子，应到碧仙家，水舂云母稚，风扫石楠花，若无幽居好，相邀弄紫霞”，一首为“多君相门女，学道爱神仙，素手掬青霭，罗衣曳紫烟。一住屏风垒，乘鸾着玉鞭”，表达了对仙人的尊崇。

庐山道观最早修建的是南朝时的“太虚观”，后更名为简寂观。唐代因为庐山道教的繁盛，也修建了更多的宫观，如昭德观、录真观、祥符观、先天观、景德观、广福宫、太平宫等。其中广福宫又称“匡君庙”，是为纪念仙人匡先生的。宋代除了修缮、扩建唐代宫观外，修建的宫观并不多。到了明清之际，大部分宫观被废弃。迄今保存完好的只有仙人洞道院，传说是八仙之一的吕洞宾修炼的场所。

慧远曾作五言诗《游庐山》，为历代文人所推崇。诗曰: