据史书记载，东汉永平年间的一个夜晚，汉明帝刘庄梦见一个金色神人，身上放着光芒，飞進了皇宫殿庭，令人心悦。次日，明帝召集大臣询问梦中之事，有大臣傅毅回奏道：“周昭王二十四年四月初八，山川震动，江河泛滥，晚上西方天空现出五色光华。太史苏推测，这当是一位大圣人在西天诞生。这位圣人降临人间是为了救苦救难，他的义理，一千年后就能传入我国。现在时间已经差不多千年，臣听说西域有位神人，其名曰‘佛’，陛下大概梦到的就是佛。”为了了解“佛”的情况，明帝派12人前往西域寻佛求法。

这12人历尽艰险，来到了西域的大月氏国。那里佛法盛传，寺院众多。一行人于是收集了一些佛经和佛像，并邀请天竺高僧摄摩腾、竺法兰去中原讲法。在永平十年(公元67年)，他们回到了洛阳。

明帝十分高兴，特意召见了两位僧人，然后请他们在外交官署上午鸿胪寺住下，翻译带回的佛经。第二年，明帝又下诏在洛阳雍门外修建了一座僧院。“寺”本义是官署，因摄摩腾、竺法兰初来时往在官署，又是外宾，为示礼待，就仍称新居为寺；此后，中国佛教建筑就相沿称“寺”。此外，永平取经时，是一匹白马驮回佛经、佛像的，为了纪念白马的功劳，就将僧院命名为“白马寺”。

摄摩腾、竺法兰二位高僧在白马寺内译经传法，二人共同译出了最早的汉文佛经《四十二章经》。摄摩腾圆寂后，竺法兰又继续译出了一些经卷。所译的经卷，都珍藏在大殿内，供僧徒们膜拜。据传，北魏时，僧徒们正在对这些佛经膜拜时，经卷突然发出了五彩光芒来，将大殿照的通亮。更令人称奇的是，光焰中还现出了佛的形像。

唐武则天时，白马寺盛极一时，僧人有千余。安史之乱和会昌灭佛时，白马寺遭到较大破坏，呈现的是“断碑残刹见遗踪”。宋太宗时重修白马寺，明嘉靖时和清康熙时亦進行了修葺。

现存的白马寺占地四万平方米，一百多间的殿堂的布局是纵轴式的，主要殿堂位于南北中线上，从山门往里纵深依次是：天王殿、主殿大佛殿、大雄宝殿、接引殿、佛殿毗卢阁。

主殿大佛殿内中央供奉的是端坐莲台的释迦牟尼佛，右手拈花，左右是迦叶、阿难二弟子，文殊、普贤二菩萨列坐，二天女后侍。大佛殿东南角有一口明代铸铁钟，重二千五百公斤。据说在风清之夜或晨曦初露之时，白马寺钟声可以传数十里，而且城内东大街钟楼上的大钟也能与之共鸣，确实是“钟声响彻梵王宫、下通地府震幽灵”。

大佛殿之后是供养着三世佛的大雄宝殿，两厢分列十八罗汉。罗汉像姿态不一，神情各异，系元代用夹苎干漆造像工艺塑成，十分珍贵。大殿后是接引殿，最后是佛殿毗卢阁。毗卢阁建于唐朝，内供奉释迦牟尼佛的清净法身毗卢佛，旁立文殊、普贤菩萨。阁后石碑上刻着《四十二章经》。

在白马寺的东南角和西南角，有摄摩腾、竺法兰的丘冢。寺院外东南约200米处，有一座高24米的13层密檐式砖塔，名为“齐云塔”，本称释迦舍利塔、金方塔、白马寺塔。建于后唐，后在宋代被毁，金代重修。

白马寺六景是：清凉台、夜半钟、齐云塔、藤兰墓、断文碑、焚经台。