寺中殿宇规模宏大，有三重院落。“金刚座舍利宝塔”就座落在三重院落的后院，所以寺又俗称为“五塔寺”，蒙语称“塔奔·斯普日嘎”。塔建于清雍正五年，雍正十年落成（西元1727年至西元1732年）。塔连同寺庙又称为“五塔寺召”。寺在三世活佛以后，再没有寻找“呼毕勒罕”(活佛)的转世，香火于是逐渐衰落，佛殿塌毁，唯有宝塔幸存。

“金刚座舍利宝塔”主要由台基、金刚座和顶部 5个玲珑宝塔三部分组成。平面呈凸字形。宝塔，是一个在金刚座上建有５个玲珑舍利小塔的建筑，当地人们通称为“五塔”。根据佛经记载：金刚界有五部：佛部、金刚部、宝部、莲花部、羯磨部、五座小塔各代表一部。建筑形式源于印度。据说：释迦牟尼涅磐后，弟子为纪念他，建造一座与五塔这种式样类似的塔，所以又称为“佛陀伽耶式塔”。此种形式的佛塔在中国出现得较晚，也比较罕见。

宝塔通体采用砖石砌筑结构、以白色石料镶边包角作重点装饰。塔身高１６．５米，比例严谨，造型优美。塔身外面饰以雕刻加工涂釉的琉璃砖，琉璃用于受光强烈的挑檐和塔刹，一经日照更能显出琉璃的光彩，加上在边缘和转角处以白色条石镶嵌，使整座塔呈现出独特的印度风格。

金刚座共７层，坐北朝南，座高7.85米，面宽11.32米，纵深9.98米。建筑在高一公尺的台基上，下层的束腰须弥座上檐的白条石上，一层檐下镶嵌着蒙、藏、梵3种文字所书之《金刚经》经文，刻工细致，字体工整。还有浮雕五方佛座骑图案：象、狮、马、孔雀、迦楼罗以及法轮、宝瓶、金刚杵等七珍宝，及佛教吉祥物等花纹图案。

金刚座的南面正中开一券门，门旁为四大天王像，守护在券门的两侧，更显得塔肃穆、威严。门首上正中央，嵌着以蒙、 藏、 汉 3种文字镌刻在汉白玉石上的“金刚座舍利宝塔”字样的匾额，正中宝塔上有石刻佛足，象征着对佛祖释伽牟尼的纪念。

须弥座的上面作七层绿色琉璃瓦短挑檐，每层檐下并列镶嵌着许多佛龛，龛内设置1尊佛像，姿态各异，栩栩如生。两旁为宝瓶柱，龛楣上镌刻梵文的六字真言、三组咒语等。四面上下共有佛1560余尊，故称为“千佛龛”。塔内用半圆砖拱，为三开间无梁殿，东西隅设有阶梯能通向金刚座顶上。出口处建有一座方形攒尖亭。亭后有五座方形舍利小塔，分置于正中和四隅，正中一座有7层，高8.65米，四隅的四座，有五层，出檐形式相同。小塔玲珑剔透、精巧秀丽，别具一格。各小塔第一层均镶嵌佛像、菩萨及菩提树、云景等砖雕，刻工极其精致。从第二层到第七层檐下，共塑有各种姿态的鎏金佛像1119尊，而全塔共有1563个鎏金佛像。五塔塔表上的砖雕石刻，可堪称呼和浩特地区清代雕刻艺术的精品。

值得一提的是，五塔寺北墙照壁上嵌有“钦天监绘制天文图”、中央是“须弥山分布图”、西面是“六道轮回图”，三幅线雕蒙古天文图刻石。它是中国现存惟一用蒙古文标注的天文石刻图，天文图的直径144．5厘米，十分珍贵。蒙文石刻天文图所表现的“赤道坐标盖天图”，它用线刻的手法，以北天极为圆心，画有五个同心圆，由里向外依次为：天的北极圈、夏至圈、天赤道、冬至圈、天的南极圈。与天赤道相交的另一个双线圈表示黄道。

这幅在二百多年前绘制的石天文图，天球外面有四层同心圆：最外层刻十二宫和十二肖名称；第二层刻二十四节气名称；第三层外侧为黄道周天度数，内侧为赤道周天度；最里层刻有二十八宿名称。全图共绘制有二百七十个星座，星星总数达一千五百五十多颗。充分展现了蒙古族天文学家的智慧，是研究中国清代天文学史的重要实物。

“金刚座舍利宝塔”不仅是一座在建筑艺术上有很高造诣的古塔建筑，而且还是一座巨大的雕刻艺术品。