五臺山的五爺廟面積不大，占地只有兩千多平方米，主要建筑有四座，它們是五爺廟、萬佛閣也叫萬佛殿、文殊殿和古戲臺。就因為有了五爺廟，這里成了五臺山香火最為旺盛的寺廟之一。后來，當地的老百姓也習慣把萬佛閣叫做五爺廟了。

五爺廟的后面是文殊殿，五臺山作為文殊菩薩的道場，幾乎每座廟宇里都有專門供奉文殊菩薩的文殊殿，但在這里文殊殿卻沒有五爺廟的香火旺盛。這也看得出當地人更喜歡本土化俗神的崇拜，可是文殊菩薩在當地人目心中的正統地位，也不會有絲毫的減弱。

在五爺廟中坐東向西兩檐三頂的建筑是萬佛閣，也叫萬佛殿。它分上下兩層，在五臺山眾多的建筑中別具風格。在萬佛閣的下層，當中供奉的是毗盧遮那佛。在佛教密宗里，把他稱為大日如來，作為最高的崇奉對象，他也就是釋迦牟尼佛的法身佛。

二層殿內，正中供的是中國佛教四大菩薩之一的地藏菩薩，他被稱為大愿地藏。老百姓對地藏菩薩的信仰，在民間也流行很廣。因為地藏菩薩普度眾生，而他的大愿也正所謂是：眾生度盡，方證菩提，地獄未空，誓不成佛。

一般佛教寺院是不供龍王的，但很久以前，五臺山地區并不是清涼勝境，而是酷熱難熬，當地百姓深受其苦，專門為人排憂解難的大智文殊菩薩便從東海龍王那里巧妙地借來一塊清涼石，從此五臺山變得涼爽宜人風調雨順，成為避暑勝地。

而這清涼寶石原本是龍王的五個兒子播云布雨回來驅暑歇涼之物，當他們發現歇涼寶石被文殊菩薩帶到五臺山后，便尾隨而來大鬧五臺山，直把五座陡峭如劍的山峰削成五座平臺，要討回清涼石。

不過文殊菩薩很快就降服了他們，讓他們分別住在五座臺頂。五龍王被安排在最高的北臺，專管五臺山的耕云播雨。人們感激他為五臺山地區造福，就為他建造了廟宇。