A Szélmalom utca 17. (Patak utca 32.) szám alatti épület 1660-ban épült, mint a jezsuiták konviktusa, majd miután a jezsuiták a Belvárosba költöztek, az épületet gazdasági célokra használták.
A XVIII. században az Esterházy család tulajdonában volt, majd használták helyőrségi raktárként is. Az első világháború ideje alatt, amikor ez a fotó is készült, Mattesz János örököseinek tulajdona volt az épület, melynek udvarán éppen orosz hadifoglyok láthatóak.
A második világháború után termelőszövetkezeti raktárként hasznosították az addigra már többször átépített épületet, majd hosszú évekig üresen állt.
Részletes feltárás után 2003-ra fejeződött be a teljes rekonstrukció, melynek során az egykori konviktus épületébe a Horváth József Alapfokú Művészetoktatási Intézmény költözhetett.