De woeste gronden aan de Leusderweg werden in 1640 gekocht door Everard Meyster, dichter en aristocraat. Hij legde er een geometrische tuin aan met vele naaldbomen. Meyster schreef: "'t is Nimmerdor, dat is te seggen altoos groen, na 't woords bediedenis.
Een Groengaard voor de mensch, daer 't prille puyck der tijden
geduerig bloeyt en groeyt; een eyndelose lent, een dorreloos
saysoen, een somer sonder end". Aan het begin van de 19de eeuw is
de tuin veranderd in een landschappelijke tuin. Meyster bouwde een
buitenhuis op Nimmerdor. Helaas raakte het in de Tweede
Wereldoorlog zo beschadigd, dat het in 1953 afgebroken is. In de
19de eeuw werden een koetshuis, oranjerie en tuinmanswoning
gebouwd. Ook werd de duiventil vervangen. Duiven werden vroeger
gehouden voor de vruchtbare mest, de eieren en de jonge vogels.
Niet iedereen mocht duiven houden: dit was voorbehouden aan de
adel.
In 1990 werd een plan voor de bouw van 140 seniorenwoningen langs
de Bosweg/Keesomstraat afgeblazen na een beroepsprocedure bij de
Raad van State door de Stichting Behoud Nimmerdor, de Stichtse
Milieufederatie en een groot aantal omwonenden. De Stichting Behoud
Nimmerdor bestaat nog steeds als overlegorgaan met de gemeente over
de instandhouding van de flora en fauna in dit natuurgebied en
recreatiegebied.