Op het huidige kasteeldomein lag oorspronkelijk enkel het 18e-eeuwse jachtpaviljoen, dat ook vandaag nog uitkijkt over de Abdij van Park. Midden 19e eeuw werd het uitgebreid met een pannenbakkerij, waarvoor klei uit de Predikherenheuvel werd gehaald. Diezelfde eeuw kwam het domein in de adellijke handen van de familie de Bunswyck terecht, die er het kasteel de Bunswyck bouwden. Begin 20e eeuw liet de baron er het Klein Park in landschappelijke stijl aanleggen.
Later kwam er een moestuin en boomgaard bij. In 1937 werd het volledige domein aangekocht door de familie Hottat-Hennau, textielbaronnen van een Leuvense breigoedfabriek en eigenaar van het nabijgelegen kasteeldomein Hottat in Korbeek-Lo. Die familie gaf tijdens het interbellum vorm aan het kasteel zoals we het vandaag kennen en breidde het Klein Park uit met het Groot Park.