A múzeum létesítését hosszú előkészítés után 1896-ban határozták el, és a millenniumi törvény mondta ki. Miután a főváros ingyen átadta a területet, 1898-ban pályázatot írtak ki az épület megtervezésére. A kilenc pályamű közül Schickedanz Albert és Herzog Fülöp Ferenc tervét választották ki megvalósításra. Az épületegyüttes 1900 és 1906 között épült, először a neoreneszánsz képtárszárny, utána a klasszicista. Az 1906. december 1-jei felavatáson Ferenc József császár és király is részt vett. A múzeumot 104 éve, december 6-án nyitották meg a nagyközönség előtt.