“贺兰”一词一说来自蒙古语。古时的贺兰山有多种称谓，如阿拉善山。因其山势雄伟，好象群马奔腾，故名“贺兰山”，蒙古语的意思是骏马。相传大禹治水时，曾劈开贺兰山，引黄河水北流。但还有一种说法认为，蒙古语中的骏马并不是“贺兰”的意思。“贺兰”一词最早见于记载的是《晋书·北狄匈奴传》，书中记载在十九种内迁的匈奴部落中，有一个叫“贺赖部”。《资治通签》注解称“兰、赖语转耳”，因此贺兰是贺赖的音转，既是族名，也是姓氏。大概因为贺赖部的人居住在如今的贺兰山一来，所以山才被称作“贺兰山”。

贺兰山幽雅的环境，凉爽的气候，很早就成为僧人修炼的场所。据《宋高僧传》记载，唐、五代时有新罗国王子无漏、增忍等多位僧人来到贺兰山修行。宋咸平五年，党项族占据贺兰山，后建立西夏王国。西夏的开国皇帝元昊虔诚相信佛教，因此在国内大兴寺院，向宋朝请赐佛经，并将贺兰山、积雪山、焉支山奉为三大神山，贺兰山为“神山之首”。他还聘请回鹘等族高僧，如白法信、智光，将佛经翻译成西夏文。此外，他还钦定每年四季的孟朔日为官民礼佛之日。元昊之后的统治者沿袭了上述政策，在国内广泛宣扬佛法，以藏传佛教为主。从宋朝起，在此修行的僧人日众，而且成为众人的礼佛之处，因此寺庙的建筑规模巨大。

如今，在贺兰山的北麓有阿拉善盟规模最大的一座寺庙：北寺，即福因寺。而在山麓南端，巴音森布尔西北侧一个群山环抱的宽阔地带，坐落着南寺，即广宗寺。两座寺庙均建于清朝。

相传西藏六世达赖喇嘛仓央嘉措云游至贺兰山讲法，并选择山麓南端的一处地点准备立寺，是为南寺，藏文称作“噶丹旦吉林”，意为“兜率广宗洲”。为什么选择在这个地方呢？据说，这里天似八幅金轮、地如八瓣莲花，呈现吉祥之征。而且，传说远在唐朝时期，曾有十六罗汉和达摩在这里驻足过夏。但是南寺尚未建起，六世达赖喇嘛就于1746年圆寂。在其圆寂后，其弟子阿旺多尔济遵照师父的遗愿，于1756年正式开工建寺，次年建成后将六世达赖喇嘛的法体搬至寺内供奉，同时迎请他的转世灵童座床，举行了盛大开光仪式。当时南寺的名字叫 “潘代加木草林”。 1760年清帝乾隆赐名“广宗寺”，并授御笔金字匾。史料记载，1760年南寺的庙宇僧舍只有197间，到1869年的时候，已达到2859间，僧侣人数也有一千五百名。

此外，南寺周围的瞻卯山、额尔德尼召和距寺较远的道布吉林三座小庙是由南寺管理的。其子庙或属寺有昭化寺等。

南寺的两个葛根（活佛的意思）分别是从选定建寺地址的六世达赖喇嘛和亲自建寺的阿旺多尔济开始，以葛根转世的形式传下来的。第一代葛根是六世达赖仓央嘉措；第二代葛根是图布丹嘉木苏，俗称温都尔葛根，1780年圆寂；第三代葛根是却达尔嘉木苏，在南寺设立了法相僧院，1856年圆寂；第四代葛根是伊希楚勒图木达尔吉嘉木苏，1944年圆寂；第五代葛根是贡萨勒永恰布。南寺葛根是阿拉善最大的葛根，其各代转世大都受达赖、班禅授予的“伊拉古克桑班迪贡卓诺门汗”和朝延授予的“大格布呼图克图”封号，还有一尊号称为“嘉勒色来”葛根。其中著名的活佛，是六世达赖的转世，另一位是藏王第巴的转世，称喇嘛坦。不过，六世达赖又转六世后神秘失踪，至今仍是个不解之谜。如今，南寺中仍然供奉着六世达赖的灵塔，远近信众常常前去礼拜。

南寺中有许多珍贵佛像、佛经和佛教艺术品等，如纯金无量寿佛像。文革期间，寺院受到破坏，大量的佛像、佛经被毁坏殆尽，僧人也被驱赶。文革后才逐渐修复。

北寺，史称“福音寺”，俗称为“北寺”，建于清嘉庆九年（1804）。该寺是阿拉善王之子在皈依六世班禅后创建的，原名“准黑德”。后嘉庆皇帝赐名“福音寺”。寺周围景色迷人，畅游其中，犹如置身于世外桃源。

此外，贺兰山东麓，还分布着内容极为丰富、时间长达两千年的岩画。1997年，国际岩画委员会将贺兰山岩画列入非正式世界遗产名录。

唐朝著名诗人贾岛在诗作《送李骑曹（一作胄）》中提到了贺兰山的风光，诗曰：