Keizer Karel

Keizer Karel (regeerde van 1515-1555) blaast het Jachthuis nieuw leven in. Deze prins volgt met veel hartstocht alle jachtpartijen die in het Zoniënwoud plaatsvinden. Onder zijn heerschappij, wordt het Zoniënwoud het aangewezen en praktisch exclusieve kader voor de mooiste Hertogenfeesten. Meerdere malen zal hij zich in een van de kloosters van het woud afzonderen om er te bidden. De abdij van Groenendael geniet zijn voorkeur, hij heeft er zelfs zijn cel. Maar de keizer scheidt de geneugten van de jacht en zijn religieuze plichten niet en het Hof neemt de gewoonte aan om met zijn hele hebben en houden lange dagen in het woud door te brengen als de keizer er vertoeft. Nooit werden er op de lanen weelderiger uitgedoste uitrustingen of prestigieuzere stoeten gezien. De beruchte plaats waar de keizer al van kleins af aan ging jagen, ligt  net aan de ingang van Watermaal. Het feest dat de Keizer in 1556 in het woud laat organiseren was buitengewoon en tart elke verbeelding : zeven vorsten namen deel aan een jachtpartij tijdens dewelke onnoemelijk grote hoeveelheden wild gedood werden. De kronieken uit die tijd spreken over een stoet van 12.000 ruiters.
De periode na de afzetting van Keizer Karel werd het huis van de jachtmeesters fataal. Al tijdens de eerste jaren onder het heerschap van Filips II (1555 - 1598), vervalt het tot ruïne. Maar de Hertog van Alva (1567 - 1573) houdt van jachtpartijen en in 1570 laat hij het kasteel herstellen. Zijn opvolgers daarentegen wijden zich volledig aan de burgeroorlog en het verblijf vervalt. Het wordt geplunderd en in 1584 in brand gestoken. Bij de opkomst van Albrecht en Isabella (1598 - 1633) is er bijgevolg een grote inspanning vereist om de jachtverblijven terug operationeel te maken . Onder deze prinsen wordt het kasteel herbouwd en opnieuw ingericht . De reputatie van het koninklijk paviljoen werd hen in 1604 echter bijna fataal. In dat jaar slaagt een grote afscheiding van de Hollandse cavalerie erin tussen Leuven en Mechelen door te breken. Ze volgen de Woluwe stroomopwaarts, in de hoop zo Bosvoorde te bereiken en er de woning van de vorsten te plunderen doch ze misrekenen zich. Eens buiten Oudergem volgen ze de vallei van de Watermaalbeek en belanden zo bij de kerk van Watermaal.

De Hollanders beseffen dat ze zich vergist hebben , steken de antieken tempel en de omliggende boerderijen in brand waarna ze in volle vaart naar Elsene en Etterbeek rijden om er eveneens de kerken, enz. in lichterlaaie te zetten. Beladen met een rijke buit en een groot aantal gevangen genomen dorpsbewoners trekken ze zich terug.
Albrecht en Isabella doen ook het nodige voor het stichten van de erediensten. In 1607 geven ze het bevel alle dagen in Bosvoorde een mis door een geestelijke van de abdij van Coudenberg te laten opdragen. Gedurende een zeker aantal jaren blijft het Jachthuis een grote activiteit kennen. De Kardinaal - Infant Ferdinand -onder Filips IV - en zijn opvolgers blijven belangstelling voor het Jachthuis koesteren. Van einder en ver, ook uit het buitenland worden jongelingen naar Bosvoorde gestuurd om er in de meest gegeerde sporttak van de prinsen ingewijd te worden. Valkeniers en Jachtmeesters (o.a. Michel De Cafmeyer) worden naar Madrid gestuurd om er hun talent voor de koning van Spanje te demonstreren. De ongeluksdagen zijn echter niet veraf. De catastrofale gevolgen van de Dertigjarige Oorlog (1618-1648) en de tegen Lodewijk de Veertiende gevoerde strijd , hebben de Schatkist zo zwaar aangesproken dat zelfs de hoogstnoodzakelijke uitgaven met moeite bekostigd kunnen worden. Met als gevolg dat de uitgaven voor de Jacht verminderd en tenslotte afgeschaft worden. De honden worden verkocht en het kasteel ontruimd. In 1684, wordt de koninklijke kapel , net zoals het kasteel een eeuw tevoren (1584), door boosdoeners vernietigd en geplunderd.

Op het moment waarop Bosvoorde volledig verlaten dreigt te worden, verzetten een aantal schrandere bestuurders zich tegen de betreurenswaardige gevolgen van de buitenlandse ambities. Vanaf 1698, ontwikkelt de Rekenkamer rond Brussel een wegennet, dat de verbinding tussen de hoofdstad en de uiterste streken van het land moet verzekeren : de steenweg naar Charleroi en naar Terhulpen, de wegen naar Namen, Nijvel en Binche. Voor Bosvoorde, dat tot dan toe slechts via een enkele weg, een Gallo-Romeinse baan vol modderkuilen die er of erg stoffig of erg modderig bij lag, met de hoofdstad verbonden was, betekende dit een vooruitgang van onschatbare waarde. In 1692, stuurt Koning Karel II (1665-1700) zijn neef Maximilien-Emmanuel van Beieren, bijgenaamd de Blauwe Keurvorst (1692-1700), naar zijn Belgische Provincies.

Deze nieuwe gouverneur beslist het verblijf van Bosvoorde te laten restaureren. Zonder verpozen zullen de herstelwerken van 1698 tot 1700 uitgevoerd worden. De kapel blijft binnen de omheining en wordt voorlopig gerestaureerd. Maar het werk vertoonde ongetwijfeld gebreken want in 1721 moet ze herbouwd worden. De plannen voor deze bescheiden tempel vertonen een grote gelijkenis met die van de St. Hubertuskapel, die rond dezelfde tijd binnen de ommuring van het kasteel van Tervuren gebouwd werd.