在五台山中台向西南延伸的两道山脉间，有一处幽深的山谷，谷间白云悠悠，清水潺潺，嘉木葱茏，山花烂漫，这便是清凉谷。谷之南有寺依山傍壑，就是清凉寺。清凉寺因有著名的文殊圣迹文殊说法床---清凉石而得名，是到五台山朝山佛教徒必到之地。
相传，远古时候五台山沟无清水，坡无绿草，黄土滚滚，满目荒凉，是文殊菩萨使用法力，才使这里气候大为改观。
一天，东海龙王邀请文殊菩萨到龙宫讲经说法。讲经毕，龙王为表示谢意，说：“龙宫所有的奇珍异宝，菩萨喜欢什么，我就当即奉送。”不料，文殊菩萨对别的珍宝都不感兴趣，只要檐下放置的一块黑石头。这块石头长有一丈五尺，宽有八尺，厚有六尺。你只要走近它，就会顿觉清凉异常。龙王连忙解释说：“对不起，这是一块清凉石。小龙出去布雨回来，大汗淋漓，只要躺在歇龙石上滚一滚，疲累燥热立刻消除。菩萨要什么都行，这石头嘛……”文殊菩萨见龙王面有难色，没有强求，便说：“既然龙王难舍，佛家不该讨施。我就此告辞了!”龙王深怕得罪文殊，就故意放了个大度说：“菩萨若能拿得动，就请拿去吧!”文殊菩萨走到这块黑石头前，默念几句咒语，忽然用手一指，偌大的石头变成指头大小，菩萨随手将小石子揣人袍袖后，便跨上青狮，飘然出了龙宫，回到五台山。
文殊菩萨将带同的清凉石放置在中台下面的一片谷地，口念咒语，恢复了原形。清凉石立即散发出沁人心脾的清凉气息，五台山从此就成了理想的清凉胜境。
如果你想亲眼目睹这块清凉石，就要去清凉寺。它就放置在清凉谷的清凉寺里。它还有一个神奇的名号“文殊菩萨说法船”，上面可以同时站40多人，人在其上，悠悠晃晃，那感觉真的像在听文殊说法，又像坐船行于水上，神秘而奇特。
清凉寺是五台山最早兴建的寺庙之一，佛教典籍中记载，寺为北魏孝文帝所建。大隋开运，佛教重兴，凡是伽蓝，并任复修。清凉寺也在文、炀二帝的扶持下得到修复，恢复了正常的佛事活动。唐代时，清凉寺成为替国行道的镇国道场，获得皇家的护持。长安二年(702年)，女皇武则大自称神游五顶，敕命重建清凉寺。经过一年多的修建，清凉寺落成典礼，德感法师奉女皇之命率领100多名僧人，到清凉寺举办法会。当日祥云缭绕，五云佛手、天仙白鹿在空中显形。地方官员奏报女皇，则天皇帝非常高兴，封德感法师为昌平县开国公，食邑一千户，住清凉寺。同年，女皇命左庶子侯知一、御史大夫魏元忠，请工匠雕刻玉文殊像，到五台山礼拜菩萨，第二年，送到清凉寺安置。在亲笔手书中，武则天表达了自己对弘扬佛道的赤诚以及不能亲自拜会圣境的遗感。她还令德感法师住持清凉寺，主管全国僧尼事。女皇对清凉寺的宠遇，引发全国乃至外国僧俗效仿，纷纷到五台山弘法传教，瞻礼灵迹。
开元二十八年(740年)，唐玄宗长女永穆公主，皈依佛门，出家五台山，将自己平生所蓄钱财悉数拿出，请来全国的能工巧匠，在清凉寺造了诸般佛像，同时用金银铜三金融铸，金、银、玻璃、琉璃、珊瑚、玛瑙、砗磲七种珍宝镶嵌，铸造一口铜钟，安置在清凉寺中。
天宝七年(748年)，杨贵妃的再从兄杨舌为玄宗皇帝书写《大藏经》5048卷，《般若经》、《天台疏论》2000卷供于清凉寺，为镇寺之宝。同时奉命对清凉寺进行了重修与扩建。其时清凉寺有上座昙财，寺主申庆，都维那智诜，大德忠翰、智空、昙开、如岸，高僧清超、净法、元光、庭观等，真是鸾风比德，龙象群集。
唐玄宗之孙李豫在“安史之乱”中，以兵马元帅的头衔收复两京，认为是佛菩萨的佑护之力，对“五台山佛教十分尊崇，宝应元年(762年)即位史称代宗，永泰元年(765年)命人重修了清凉寺等6所寺院和6处普通供养舍，每寺度僧21名，常转《护国仁王经》和《密严经》，为围行道，把金阁寺和清凉寺作为了大唐帝同的镇创道场。从此，清凉寺由弹宗丛林和净土道场变成了密宗道场。
会昌五年(845年)，唐武宗灭法，这是佛教史上著名的四次法难之一，规模大，范围广，天下寺宇，大多招致毁废，僧人或逃奔他乡，或还俗，清凉寺在这一次浩劫中成为一片废墟。
历史的发展有时有一种戏剧性的反差。与无情地戕灭佛事的武宗迥然不同的是，继位的唐宣宗恰恰因种种原因当过一阵子佛门沙弥，他即位之后的宰相裴休又是一位吃斋念佛、精通佛典、护持佛教的信徒，君臣二人齐心协力，复兴佛教。大中二年(848年)，宣宗“敕五台山诸寺，度五千僧，”五台山主要寺庙得到恢复，清凉寺便在其中。
大唐诸帝的重视与崇建，使清凉寺星楼月殿，凭林跨谷；香窟花堂，枕峰卧岭．成了妙高峰上的一座梵宇琳宫。
入宋以后，太宗、仁宗，眷想灵峰，流光五顶，先后敕送佛经手迹共计340轴到五台山，“清凉之兴，于时为盛”。当时，清凉寺设置僧正司，管理着五台山及代州的佛寺。到仁宗时，善住院有一位和希法师，道行和威望赫赫有名，仁宗授予其僧统，加号慈懿大师，住清凉寺。僧统是僧界之皇，统监全国僧尼事务，自唐代德感、清凉两位国师担任僧统以来，五台山僧人第三次荣任此职，恩宠非凡，使清凉寺成了北宋佛教的重要寺院。
元朝皇帝出身于蒙古贵族，信仰佛教，尤其尊奉喇嘛。至元二年(1265年)，元世祖下诏重建清凉寺，寺内殿宇堂舍焕然一新。
明太祖朱元璋于执朝期间，在清凉寺设置僧会司，掌管僧教事务，并将佛光寺、藏头寺纳入管理范畴，扩大了清凉寺的范围。万历三十四年(1606年)，皇帝命人铸造九级铜质千佛塔，上刻“清凉攫授”印文和“清凉之印”铜印，置清凉寺。中有文殊像，旁有清凉石．又有千佛塔，尊崇至极。远远望去，一座金碧辉煌的宫殿点缀在清凉谷的山岩间，如同一幅绝美的图画。
清顺治十七年(1660年)，世祖派老藏丹贝到五台山清凉寺，管理汉藏佛教事宜。他先后五上五台山，每次都拜清凉寺。康熙二十八年(1689年)八月，圣祖为清凉寺题写了“水晶域”和“心会真如”的匾额。康熙四十一年(1702年)二月，圣祖带着四子胤稹等第四次巡游五台山时，于初十日到达清凉寺，参观寺容，礼拜菩萨，瞻谒清凉石。当时随同参观，后作了雍正皇帝的胤稹曾为清凉寺作诗二首：
一
光寒如镜卧深云，
半是云斑半藓纹。
谁识方方一片里，
古今容尽屐交纷。
二
体本清凉自解烦，
天然秀色蓄云根。
曼殊说法今何在，
参客空寻趺坐痕。
乾隆十五年(1750年)二月，春回大地，冰融雪化，乾隆沿着松林中的山路行来，耳边有阵阵松涛，头顶有潆漾细雨，清凉泉潺潺流于清凉谷，汇注为清清一潭，如禅机满注。天子灵感顿来，脱口吟道：
莲宇台西麓，榛蹊一往寻。
石潭空禅性，松籁发仙音。
春转喧迎谷，冰融雨坠林。