Na mieste dnešného paláca bol až do polovice 19. storočia župný dom, ktorý vznikol spojením 3 pôvodne starších domov. Po presťahovaní sa župného domu na dnešné Župné námestie dal gróf Pálffy budovu prestavať na svoj palác. V roku 1885 bola zrútená zadná časť budovy a nahradená neobarokovým palácom (Hviezdoslavovo námestie 18 - dnes budova Vysokej školy výtvarných umení).
Počas poslednej rekonštrukcie archeológovia objavili v jeho múroch zvyšky architektúry z 13. storočia, zvyšky gotického domu s vežou zo 14. storočia, ktoré sú čiastočne viditeľné i v interiéri objektu. Archeologický výskum v suteréne budovy odkryl zas rímske a keltské nálezy. Našli sa tu formy na odlievanie z obdobia keltského osídlenia, dokladujúce existenciu keltskej mincovne na území mesta.
Dnes palác ponúka návštevníkom súčasné umenie rovnako ako klasické zbierky starých majstrov.
Atraktívna inštalácia Pasáž od Mateja Kréna, pozostáva z takmer 15 000 kníh, ktoré spolu so zrkadlami
vytvárajú ilúziu nekonečného priestoru a nekonečnosti ľudského poznania.
Ďalšia stála inštalácia Alexa Mlynárčika s názvom Vila mystérií, ktorá predstavuje neprehliadnuteľnú
súčasť nášho výtvarného umenia i autentické svedectvo doby. Pôvodne vznikla pre výstavu v Lunde (Švédsko).
Stála klasická expozícia obsahuje napríklad gotickú maľbu na skle, sochy a obrazy holandských a flámskych
majstrov zo 17. a 18. storočia, práce talianskych majstrov zo 17. - 19. storočia.