A Széchenyi tér az Ujhelyi-ház ablakából a Széchenyi István szoborral

Az épület helyén egykor három kisebb ház állt, melyek közül az elsőt 1765-ben vásárolta meg Széchenyi Antal. 1792-ben került a család birtokába a második épület, melyet Széchenyi Ferenc vett meg, aki itt helyezte el annak a gyűjteménynek egy részét, melyet 1802-ben, a Nemzeti Múzeum alapításakor a múzeumnak felajánlott. A harmadik épület 1810-ben került a család birtokába. Eztán bízták meg Hild Vencelt azzal, hogy egységes homlokzatot készítsen a három épületnek, végül azonban a ma is látható épület csak 1851-ben készült el.