Aan de 21-jarige architect A. Pothoven geeft Arnoud Jan de Beaufort, burgemeester van Leusden en Stoutenburg, in 1879 opdracht tot het ontwerpen en bouwen van een landhuis. Dit huis moest het centrale onderdeel worden van het landgoed en het woonhuis worden van het gezin van de burgemeester. Dit landhuis werd gebouwd in neoclassicistische stijl en de bouw ervan duurde 3 jaar. In 1912 ontwerpt architect H.W. Hanrath de uitbreiding aan de achterzijde.
Het huis wordt na de dood van juffrouw Annie, zoals Anna de Beaufort in de volksmond werd genoemd, intern verbouwd en betrokken door een interkerkelijk genootschap. In 1996, na vertrek van het genootschap naar het koetshuis aan de overkant van de weg, is het huis weer zo veel mogelijk in oorspronkelijke staat hersteld en houdt de firma Turner er kantoor.
Gezien de boerderij met de naam De Boom alsook een karakteristieke wilg (lokatie bij het huidige hek, maar gekapt) waaraan mededelingen omtrent houtverkoop en vanuit de gemeente Woudenberg, werden gehangen, kon de eigenaar niet anders dan ook zijn landgoed en huis deze benaming geven.
De historische park- en tuinaanleg dateert uit 1880. Direkt rond het hoofdhuis is de aanleg in engelse landschapsstijl met parkbos. Bij de aanleg van de bossen, werd voor een belangrijk deel rekening gehouden met de jacht, waardoor een gedeelte werd voorzien van hakhoutbossen. Naast de functie voor het wild, zorgde deze hakhoutbossen ook voor extra inkomsten door verkoop aan bijvoorbeeld bakkers en particulieren. Over het landgoed liep het kaarsrechte Schutpad. Dit pad werd door inwoners van Leusden gebruikt als kerkenpad naar Woudenberg en leidt naar een schut in de Heiligenbergerbeek.
Aan de overzijde van de weg, staan het koetshuis, nu in gebruik door het kerkgenootschap Grace Christian Fellowship, en het jachthuis van het landgoed. Dit jachthuis is in 1994 in opdracht van de stichting De Boom gerestaureerd.
Bron:Ingezonden door: Historische Kring Leusden