La destinée de cette bâtisse est étroitement liée à celle du domaine de Richelieu, dont elle était l'annexe.Eminence grise du Cardinal de Richelieu,le père Joseph y logeait lorsqu'il séjournait à Rueil.En mai 1638, il est victime d'une apoplexie à Compiègne.Richelieu le rappelle alors à Rueil, où il finira ses jours le 18 décembre de la même année. Selon la tradition, c'est précisément dans cette maison et non au château du Val de Ruel (la demeure de Richelieu) que le père Joseph s'est éteint.

A sa mort, le cardinal dira sa tristesse en ces mots : "Je perds ma consolation et mon unique secours, mon confident et mon appui." En 1988, la municipalité s'en porte acquéreur, et entreprend un grand programme de rénovation, indispensable à l'installation en ce lieu du centre culturel de l'Ermitage. De nos jours, elle est l'un des rares vestiges du prestigieux domaine du Cardinal. Cliquez ici pour visiter le Parc du père Joseph.