Balthasar I Moretus, de kleinzoon van Christoffel Plantijn, maakte van het huis een stadspaleis. Op 8 juli 1641 blaast hij zijn laatste adem uit.