Het Kapelhuis is rond 1500 gebouwd voor het Broederschap van Onze-Lieve-Vrouw. Het Broederschap organiseerde onder meer erediensten in de Lieve-Vrouwkapel voor de vele pelgrims, die sinds de vondst van een miraculeus Mariabeeldje naar de stad kwamen.
Het Mariabeeldje was van Geertgen Arends uit Duist. In 1444 trad ze in in het Agnietenklooster. Ze had het beeldje meegenomen als geschenk, maar vond het te min en gooide het in de gracht bij de Kamperbuitenpoort. Kort daarna werd de Amersfoortse Margriet Albert Gijsen in haar slaap opgedragen om het Mariabeeldje uit de gracht te halen. Toen ze dat gedaan had, gebeurde al snel het eerste wonder: de kaarsen die bij het beeldje stonden, brandden niet op. Het Mariabeeldje werd in de Sint-Joostenkapel geplaatst. De vondst bracht een stroom pelgrims naar de stad. De kapel werd vergroot en voortaan Lieve-Vrouwkapel genoemd. In de kapel baden zieken voor genezing (vandaar de naam Krankeledenstraat). Bijzondere genezingen werden opgeschreven in het Mirakelboek. Iedere zondag voor Pinksteren werd het Mariabeeldje rondgedragen door de stad. En ter gelegenheid van deze optocht werd een jaarmarkt georganiseerd.