記憶宮殿類似于自我淺度催眠，讓該意識在大腦皮層留下較深的印象以達到記憶的目的。所以，對于一些神經脆弱或有精神類疾病的人并不建議廣泛使用。

記憶宮殿缺點之一：按照記憶宮殿的原理，一個人的記憶宮殿越大，能記憶信息的容量就越大，在神探夏洛克中有一個BOSS，他的記憶宮殿遠遠超過了福爾摩斯，像一座圖書館，將夏洛克嚇到了，因為他們都會記憶宮殿，但是從卷福的表演看來，那個BOSS的記憶宮殿之大遠遠超出了他的預想。但是真實的情況是如何呢？其實龐大的記憶宮殿非常難以建立，因為我們是靠樁子的不同來記憶信息的，這意味著一個越大的記憶宮殿里面不一樣的樁子要越多，也就是越到后期越難建設出剛好的記憶宮殿，作為一個初學者，要建立龐大的記憶宮殿費時費力，但是如果有一個導師的話，可以抄襲記憶宮殿導師的宮殿，所以這樣就出現了3個月速成記憶宮殿的競技選手，他們都是在導師的指導下快速建立起來的記憶宮殿，一個自學者建立龐大宮殿要付出速成者N倍的心血，其次是記憶技巧也要走很多彎曲的道路，所以記憶宮殿自學者必須具備常人所不能具備的意志力。其次，記憶宮殿越大的人，雖然他們能快速記憶的信息量越大，同時他們也必須花更多時間去維護，為什么呢？原理是想通的，那些樁子不去熟悉就像生銹的刀，記憶東西也是打折扣的，所以我不建議建立過大記憶宮殿，普通人2000——3000個樁子完全可以用一輩子了。

記憶宮殿缺點之二：當我們在記憶宮殿里安置新圖像時，過去的信息如果你不使用技巧就得清除掉，除非已經熟悉到是你的長期記憶。這個原理和電腦硬盤一樣，容量是不變的，要放新資料硬盤塞滿了就得清掉過去的資料。

記憶宮殿缺點之三：需要經常做記憶訓練，記憶宮殿是一門技術，就像打籃球，如果你經常不投籃，那么你的技術就會下降，所以得經常抽空練習，所以記憶宮殿不適合懶漢。

記憶宮殿缺點之四：從入門到中級再到高手，這個過程是需要醞釀的，而不是一上手就能成為高手，這簡直不可能，除非天賦異常之人，記憶宮殿融會貫通在老師的指導下少說也得個把月，沒有老師的情況下半年到幾年不等。

記憶宮殿缺點之五：很多記憶高手通過圖像轉碼技巧快速記憶，會跳過邏輯，因為記憶宮殿就是如此，不管我能不能理解，我都能記住，這樣的結果就是很多學員不理解也記住了信息，他們會懶得再去理解，這樣應用起來就可能會造成了一個結果：打造了記憶高手，應用低手的學員。