五臺山五爺相傳是東海龍王之子，排行老五，名叫圣衍。傳說有一次，五爺到五臺山游玩，巧遇西天如來佛祖帳下的文殊菩薩到五峰山來開辟道場，后經文殊菩薩點化，同到東海龍宮借得歇龍石，將原來陡峭險峻，刀削斧劈般的五峰山，變成了巋巍敦厚的五個大臺頂。

自此，五臺山一改過去那種惡劣氣候，冬天寒風刺骨，冰封大地夏日烈日炎炎，酷暑難當，變成了常年氣候各宜，清爽宜人，夏無酷熱，冬無嚴寒，滿山遍綠，花果四季的東方佛國勝景，世界佛教圣地。此后世人便把五峰山改稱為五臺山了。

五爺廟的后面是文殊殿，五臺山作為文殊菩薩的道場，幾乎每座廟宇里都有專門供奉文殊菩薩的文殊殿，但在這里文殊殿卻沒有五爺廟的香火旺盛。這也看得出當地人更喜歡本土化俗神的崇拜，可是文殊菩薩在當地人目心中的正統地位，也不會有絲毫的減弱。在五爺廟中坐東向西兩檐三頂的建筑是萬佛閣，也叫萬佛殿。它分上下兩層，在五臺山眾多的建筑中別具風格。

傳說五臺山最早是道家的地盤。《道經》里稱五臺山為紫府山，曾建有紫府廟。《清涼山志》稱文殊菩薩初來震旦（古代印度人稱中國為震旦）時，居于石盤洞中。而石盤洞是在道家的玄真觀內，這說明五臺山為道家所踞。

五爺廟創建于清代，民國年間重修時，增建了前庭。一般佛教寺院是龍王的，而五臺山么要修龍王殿呢?這要從文殊菩薩向東海龍王巧借歇龍石的神話說起。很古以前，五臺山地區并不是清涼勝境，而是酷熱難熬，當地百姓深受其苦，專門為人排憂解難的大智文殊菩薩便從東海龍王那里巧妙地借來一塊清涼石，從此五臺山變得涼爽宜人風調雨順，成為避暑勝地。