A régi Károly-kilátó egyre romló állapota miatt a '30-as évek elején már felmerült a gondolat egy új, kőből készült kilátó megépítésére. A kiírt tervpályázatra 50 pályamű érkezett, melyek közül Winkler Oszkár tervét fogadták el. A kilátó komoly társadalmi összefogásnak köszönhetően 1935-re készült el. Az építkezéshez a város fát és kőanyagot is biztosított, sőt kölcsönnel is segítette a munkálatokat. A Károlyvár építésére sorsjátékot is rendeztek a Városszépítők, melyen pontosan 10776 darab 40 filléres sorsjegyet adtak el. A műkedvelők is kivették részüket a támogatásból, 1935 áprilisában két alkalommal is előadták Szigligeti Ede Szökött katona című színművét, hogy a bevételből aztán szintén az építést támogassák. Az épületet 1936. június 14-én avatták fel.
