根据南北朝时梁人任昉撰的《述艺记》中所载，盘古开天辟地死后，头部化作了泰山。秦汉间有民间传说：盘古死后，头为东岳，腹为中岳，左臂为南岳，右臂为北岳，足为西岳……因此，泰山成为五岳之首。

泰山古称岱山，亦称岱宗。《诗经》中有诗称：“泰山岩岩，鲁邦所瞻”。东汉应劭所著《风俗通义》中亦说：“东方泰山—尊曰岱宗。岱者长也，万物之始，阴阳交代，……故为五岳之长。”古人认为东方是万物交替、初春发生的所在，所以认为泰山在五岳中的地位特别重要，推尊为“五岳之长”。

泰山一向被视为神仙居住的地方，也是修炼之人理想的修炼之地。据说由仙人山图公子管理。这里流传的仙人故事不少，比如泰山老父、稷丘君、安期生、崔文子等。

晋代葛洪著的《神仙传》记载了泰山老父的故事。汉武帝刘彻东巡狩猎时，看见一个老翁在路旁锄地，头上的白光有数尺之高。老人看上去五十多岁，但面色红润如童子，肌肤光滑有光泽，一看就不同凡俗。武帝觉的怪异，就上前询问老人的道术。老人告诉武帝，他曾经遇见过一个得道之人，那个人教给他修炼之法。他依此修行，身体便开始向年轻方向转变，头发也由白发变成黑发，掉了的牙齿又齐齐的长了出来了，身轻如燕，每天能行走三百里。现在他已经有一百八十岁了。这位老人就是泰山老父。老父后来進了泰山，每隔十年、五年，他都回乡看看。等他三百多岁时，就再也没人见到过他。

《列仙传》记载稷丘君是泰山下的道士。汉武帝时，他因道术高明而受到赏赐。他头发白了能变黑，牙齿脱落了能再生。后来他辞别武帝回到泰山下。武帝东巡泰山时，稷丘君戴着缁布冠，穿着黄色道袍，抱着琴出迎武帝。他拜完武帝，手指点着泰山对武帝说：“陛下请不要上山，上山必伤脚趾。”武帝不听，结果才上去几里路，右脚趾就折伤了。武帝十分忌讳这件事，因此就只在山下祭祀了一番就回去了。这说明稷丘君有预见未来祸福的能力。后来武帝在泰山下为稷丘君建了寺庙，设稷奉祀他。

还有一个叫崔文子的也是泰山人，家里世代都喜欢道家的修炼之术。文子住在泰山之下修炼，并配制丹药，还建了一座石父祠。他把制出的药拿到城市里去卖，自称已有三百岁。后来瘟疫流行，老百姓死亡数以万计，郡县长官到文子那里请他拯救百姓。崔文子就手拿红色的旗幡，去各家各户巡视。吃了他的药的人，病很快就痊愈了，被救活的人数以万计。

《晋书》卷九十四《隐逸传》记述了道士张忠修炼的故事。张忠是中山国人，为了躲避战乱，他隐居在泰山修行，每日服用灵芝。后来前秦苻坚派人请他去长安做官，他辞谢回山，走到华山而逝，谥“安道先生”。

类似上述修炼成仙的故事，在史书上仍可以找到一些。

泰山何时建造宫观庙宇，目前还无法确定。根据已有资料，泰山庙宇以岱岳庙建造最早。北魏郦道元《水经注》中介绍了该庙的情况。“泰山有下、中、上三庙，墙阙严整，庙中柏树夹两阶，大二十余围，盖汉武所植也。……门阁三重，楼榭四所，三层坛一所，高丈余，广八尺。树前有大井，极香冷，异于凡水，不知何代所掘。……中庙去下庙五里，屋宇又尝丽于下庙。庙东西夹涧。上庙在山顶，即封禅处也。”中庙后称老君堂，成为唐代皇帝祭拜泰山神的地方。岱岳庙后称东岳观，成为道教宫观。

除了岱岳庙，泰山还有许多留有仙迹的宫观所在，大多在唐宋时期建造。有青帝观、王母池（古称群玉庵）、升元观、天书观（即乾元观）、斗母宫（古称龙泉观）、碧霞元君祠、玉帝观、会真宫等。元明时期则建造了长春观、三阳观、酆都庙、万仙楼、灵应宫等。清乾隆《泰安县志》卷三详细描述了这些宫观的位置。明清时，除了东岳庙、碧霞元君祠多次修葺外，其它都逐渐被废弃。目前仅存东岳庙、红门宫、万仙楼、斗母宫、碧霞元君祠、玉皇殿等处。其中的碧霞元君祠供奉的碧霞元君据称就是泰山娘娘。

因为泰山是五岳之首，也或许因为泰山是离仙人最近之处，因此中国古代帝王多在即位之初，或太平之岁，去泰山举行封禅大典，祭告天地，祈福纳祥。所谓封禅，就是在在泰山上筑土成坛，在坛顶点烧柴禾，以祭天，此称叫“封”。在泰山下面的小山(梁父)上选择一块地方(称为折)瘗埋祭品，叫做“禅”。两方面合而称为“封禅”。中国古代皇帝相信自己是“受命于天”，因此向天祈告，一方面祈求神的保佑，另一方面也是感谢神保佑国家国家风调雨顺、民生安乐。据说无怀氏、伏羲氏、神农氏、炎帝、黄帝、颛须、帝喾、尧、舜、禹、汤、周成王都曾经去泰山封过禅。中国第一个统一王朝的皇帝秦始皇据说也曾去过泰山封禅，其在归途中避雨的松树，被称做“五大夫松”。

有意思的是，泰山的中轴线与泰安城的建筑空间浑然一体。具体来说，岱庙是泰安城中轴线上的主体，这条中轴线从泰安南门起，延伸到岱宗坊，然后与登山盘道相接而通向“天庭”，其顺序完全按照登山祭祀活动的顺序，似乎预示着由“人境”向“仙境”的过渡。

唐朝著名诗人杜甫有诗《望岳》赞曰：