《华严经·菩萨住处品》亦曰：“东北有山，名清凉山。从昔以来，诸菩萨众，于中止住。”这里所说的清凉山就是位于山西省东北部五台县的五台山。为什么叫五台山呢？这里还有一个传说。据说以前这里有五座山峰，名为“五峰山”。由于这里干旱少雨，人们生活的十分艰难。文殊菩萨来到这里后，决心帮助这些人。于是她化作老和尚来到龙宫，对龙王说要用歇龙石，也就是龙歇息的地方。龙王看她老迈，就说你要搬得动就拿走吧。文殊菩萨用手一点，歇龙石就变小了。歇龙石被文殊菩萨带回了五峰山后，整座山的气候就变的凉爽舒适起来。此后，人们就把这块歇龙石叫做清凉石，五峰山叫做清凉山。龙王的儿子们回来后非常生气，就来寻找歇龙石。因为找寻不到，他们就把五座山峰扫平变成了五个平台。这五个平台是东台望海峰、西台挂月峰、南台锦绣峰、北台叶斗峰和中台翠峰。因五峰的峰顶平坦宽广，“有如垒土之台”，故后名“五台山”。五台山五峰之外称台外，五峰之内称台内。五台山的五台犹如五顶，地理和地理形势与《华严经》中描述的文殊菩萨的住处极其相似。据说，当年文殊菩萨常常端坐在歇龙石上讲经说法，周围有数百僧徒聚坐聆听。

不过，一些史籍中认为五台山最早是道家修行的所在。《道经》里称五台山为紫府山，曾建有紫府庙。《清凉山志》称佛教的文殊菩萨初来震旦时，居于石盆洞中，而石盆在道家的玄真观内，这似乎说明当时五台山确实为修道之人所踞。

大约在唐朝时，五台山正式被确认为文殊菩萨的道场。《山西通志卷》记载了唐太宗所言，“五台山者，文殊閟室，万圣幽栖，境系太原，实我祖宗植德之所，切宜祗畏。”盛唐时期，全山寺院多达三百所，有僧侣三千多人。唐武宗灭佛后，五台山的修炼环境遭到破坏，僧人减少。宋元时又重新开始发展起来，兴建了一批寺庙。明清时期，五台山佛教发展到了鼎盛，喇嘛教开始兴盛，而且清朝皇帝频频朝礼五台山，这進一步提升了其地位。

自佛教在东汉传入中原以来，在五台山上修行的高僧历代不绝。著名的僧人有唐代的澄观、志远，宋代的真宝，元朝的文才、弘教，明朝的憨山德清、云栖株宏、紫柏真可、藕益智旭，清朝的第二世章嘉呼图克图等。盛唐时，来自印度、日本、蒙古、朝鲜、尼泊尔、斯里兰卡等国的佛教徒，很多人都到五台山来朝圣求法，有些甚至留在五台山修行终身。其中比较著名的有惠萼、灵仙、圆仁、慧运、圆修、宗睿等等。

早在东汉永平年间，五台山上开始建造寺庙。此后，魏、齐、隋、唐、宋、元、明、清，屡经修建扩建，形成了一片规模宏大的古建筑群。目前尚存寺庙58座，比较著名的有显通寺、塔院寺、菩萨顶（文殊寺）、南山寺、碧山寺、金阁寺、圆照寺、广宗寺、竹林寺等。

五台山历史最古老、规模最大的寺庙显通寺据说建于汉明帝永平年间，原名大孚灵鹫寺。明万历时的镇澄和尚在其编撰的《清凉志》中说：“汉明帝时，摩腾西至，以慧眼观清凉山乃文殊化宇，中有阿育王所置佛舍利塔。阿育王，此云无忧天竺铁轮王也，能驱使鬼神，将佛舍利造八万四千塔藏之，散布阎浮，五台山有一焉。奏帝建寺，额曰大孚灵鹫寺，大孚，弘信也，帝以始信佛化，故以名焉。出感通传。”不过，也有人认为是北魏时期兴建。唐高宗时的高僧释慧祥编撰的《清凉传》说：“大孚图寺（即大孚灵鹫寺），寺本元魏文帝所立。”唐代武则天以新译《华严经》中记载有五台山，乃更名为大华严寺。

《广清凉传》记载：唐景云年间，主持大华严寺的高僧法云打算为文殊菩萨塑一尊像。一个叫安生的工匠前来应募，但他说：“如果不亲眼看到菩萨的真身，塑出的雕像一定会有不准确的地方。”于是，法云和安生一起焚香叩拜，祈求文殊菩萨现出真身。不久，文殊菩萨显现在大殿上。安生又惊又喜，伏地乞求菩萨可以留一顿饭的工夫，以使自己可以塑好雕像。安生对照菩萨的真容進行雕塑。从初摹到完工，文殊菩萨一共现身七十二次。而安生所雕塑的佛像亦是栩栩如生。文殊菩萨的圣灵显现，使远近皈依佛门的僧众越来越多。到了明朝，明太祖重修该寺，又赐额“大显通寺”。目前，显通寺占地面积约120亩，各种建筑400余座。

在显通寺南侧的塔院寺，建于元大德六年（1302年），原来属于显通寺的一部分，后在明朝永乐年间独立建寺。因为院内修建有一座大白塔，故名塔院寺。大白塔通常被人们看作是五台山的标志。“塔”是梵文的音译，读作“浮图”，意思是“坟”。它起源于印度，最初是埋藏释迦牟尼舍利建筑物，后来随着佛教传入中国。据说，释迦牟尼火化后留下八万四千颗舍利，被八国分去，200年后，孔雀王朝的君主阿育王皈依了佛教，从八国索回舍利，建了八万四千座塔，每座下面有一枚，分布在大千世界，中国有十九座，大白塔便是其中的一座，所以此塔也称作释迦佛真身舍利塔。

大白塔基座呈八角形，大南面（俗称正面）正对着“大慈延寿宝殿”的后墙 ，有三个很浅的石洞，中间石洞上刻着释迦牟尼的足迹图。脚印“长一尺六寸，广六寸，足心有千轮相和宝瓶鱼剑图。足趾上各刻‘卍’字”。根据碑文上的解释，释迦牟尼去世前将脚形印在石上，并对弟子阿难说：“我最后留此足迹以示众生，谁见足迹，瞻礼供奉，就能免罪消灾。”唐僧玄奘到西域取经时，同时把佛足迹拓印带了回来。唐太宗敕文刻于石上并将之供奉于宗庙。明代，人们再次整修大白塔，时有云游僧人前来献佛足图，因此在此刻碑。北面（俗称后面）正对着大藏经阁，也有一石洞，洞内供奉着护法神韦驮。大白塔的下层俗称塔殿，内有文殊、观世音、普贤、地藏等四菩萨和一尊释迦佛像。

菩萨顶位于显通寺北侧的鹫峰上。相传文殊菩萨就居住在山顶上，故起名叫菩萨顶，亦称文殊寺。始建于北魏，到了清朝顺治年间，重修后改为黄庙，由喇嘛主持。菩萨顶上，建有一座华丽的木牌楼，上有康熙皇帝书写的“灵峰胜境”的匾额。

在距台怀镇15公里处，有一座寺庙名为金阁寺。它是唐代宗大历五年（770年），由从印度来华的三藏法师不空，根据文殊菩萨显圣处“金阁浮空”而建造了金阁寺。但它在唐武宗灭佛时被摧毁。还有位于台怀镇南清水河西侧的镇海寺，罗睺寺山门东侧的广仁寺等、灵应寺、普济寺等，里面都供奉着佛家塑像，都留有修佛之人的足迹。

五台山历史悠久，历朝皇帝、皇后遣使朝拜五台山者，自北魏到清朝从未间断。比如，唐代自太宗至德宗，“凡九帝，莫不倾仰灵山，留神圣境，御札天衣，每光五顶，中使香药，不断岁时，至于百辟归崇，殊帮赍供，不可悉记矣。”

清代张铣有诗《偕常铭卿孝廉游五台山歌》曰：