天柱山，古名皖山，春秋时为皖国封地，安徽省简称“皖”即源于此，故天柱山为安徽的“源头山”。西汉时，汉武帝曾亲登皖山，并封其为“南岳”。在祭岳时，人群高呼万岁，所以后将此山称为“万岁山”。后来隋朝文帝封衡山为南岳，因此人们将天柱山称为“古南岳”。大概在唐朝之后，因为其主峰雄伟峭拨如“擎天一柱”，故名天柱山。

如此雄奇灵秀之处，自然也是追求成仙得道之人的修炼佳所。大概在东汉、三国时，就有修炼之人在此修炼。后来天柱山还被道教尊为第十四洞天、五十七福地。比较有名的修道之人是三国时的左慈。今天的天柱山上还留有当年左慈修行的石室和炼丹池，在马祖庵附近的良药坪。如今分别称作莲花洞和炼丹湖。传说左慈颇有仙术。《潜山县志》记载：“鲈溪在县北吴塘。魏武帝行军至潜，忽思鲈脍，左慈取铜盘钓之得数十尾，武帝释其半于溪时：正暮春。今惟柳絮飞时有之，谓之杨花鳜。”后来左慈得道成仙。

从南朝开始，亦有僧人在此修行。当时著名的僧人为宋齐时的宝志，他在天柱山上建造了最早的寺庙，名为山谷寺，即后来的三祖寺。《神僧传》记载，宝志常有异迹。比如，他常常数日不吃东西也无饥容；他有时通过赋诗来预言事情，预言开始让人费解，但后来无不应验。当时江东士庶都很推崇他。齐武帝认为他是谣言惑众，就将他抓起来，关在了建康的监狱中。第二天，人们在街市上看见了他，再检查狱中，发现人仍在里边。宝志对狱吏说：“门外有两个食盒，里面有用金钵盛的饭。你可以取来。”一会儿，齐文惠太子竟陵王子良，派人送来食盒。果然如他预料的那样。再如他让齐武帝看见了齐高帝在地狱中受尽锥刀煎熬的景象，武帝从此废除了锥刀的刑罚。梁天监五年冬旱，未降一次雨。宝志上言道：“应当在华光殿讲《胜鬘经》乞雨。”武帝便命僧人法云讲《胜鬘经》。当夜便下起了大雨。宝志又说：“应当放一盆水，再把刀放在上面。”一会儿，更大的雨从天而降。全国的旱情都得到了缓解。

安徽的皖山，也就是天柱山，景色奇绝，特别是山麓地带景致更是美不胜收。宝志与白鹤道人都想前往居住。天监六年，二人告诉了武帝。武帝认为二人皆具灵通，就商议两人各以物识其地，得者居之。道人说：“我以仙鹤止处为记号。”宝志说：“我以锡杖矗立处为记号。”不久，仙鹤先飞去，到了山麓将停飞时，突然听到空中锡杖飞的声音。宝志的锡杖遂立于山麓，而仙鹤因为受惊飞往了别处。道人无法食言。二人遂各以所识，在山上筑室。

据说有一个叫陈征虏的人，全家尽心竭力供奉宝志，十分虔诚。宝志曾经为他显露真形，光相如菩萨像。宝志知名显奇四十多年，士女供事者不可胜数。天监十三年冬，宝志在后堂对人说：“菩萨将去。”过了几日，他无疾而终。尸骸香软，形貌喜悦。

隋朝时，禅宗三祖僧璨来到宝志建造的山谷寺修行，后来，此寺被称为“三祖寺”。僧璨后在此传四祖。后来僧璨在寺前大树下“立化”而逝。现寺内仅存藏经楼、偏房数间，寺前有觉寂塔，塔高约三十米，为八角七层的楼阁式建筑，唐天宝五年修建，明嘉靖时重修。三祖寺附近还有宝公洞、卓锡泉等胜迹。洞为宝志所居，泉为宝志所掘。

此后，在此修行的僧人比较知名的还有宋代的法演、慧勤、佛鉴，元朝的中峰禅师，明代的楚山禅师等。

天柱山上的寺庙除了三祖寺，还有莲花峰峰下的马祖庵，又称佛光寺，始建于唐。此外，还有建于晋咸和年间的太平塔旁的太平寺，香火也曾盛极一时。太平塔内供奉砖雕佛像近千尊，形象优美，神韵生动。

天柱山除了峭拔的天柱峰以外，还有飞采峰、天狮峰、莲花峰、覆盆峰、观音峰、黑虎峰等各具风采的险峰。在天柱诸峰中名列第二的飞来峰顶有一块扁平、横卧的巨石，周长约七十米，高约三米，直径约二十米，边缘有褶如帽，象是从天外飞来，人称“飞来石”。其附近高达数百米的“雪崖瀑”十分壮观。天狮峰的峰顶也有状若狮子的“狮石”，它与覆盆峰间有一狭涧，上凌霄汉，下不见底。状若莲花的莲花峰，奇石罗陈，状物肖人。

天池峰顶的渡仙桥是天柱山又一奇观。巨崖中开，中架二石，阔仅五米，下临深谷，人走在其上，不免胆战心惊，胆怯者望而止步。故此渡仙桥又称“试心桥”。渡仙桥南有司元洞，洞中可容万人。

飞来峰下的神秘谷被称为“天柱一绝”。神秘谷长约五、六华里，谷底由54个形态各异的洞穴组成，洞连洞，洞套洞。在暗洞中穿行，难辨东西，不知阴晴，但一出洞口，即见光明。

此外，天柱山麓的石牛古洞摩崖石刻，盘根错节、神态各异的天柱松，交替出现的云海、佛光、日出、晓霞、雾淞等自然风光，都使天柱山让无数人折腰。

唐代大诗人李白曾写了一着赞美天柱山风景奇秀的诗，名为《江上望皖公山》，诗曰：