Le Grand Séminaire s’installe à Vannes au 17ème siècle à la place du manoir de Coëssial (entre la rue Victor Hugo et la rue de la Coutume). Les bâtiments sont cédés en 1864 aux Dames de la Retraite, communauté religieuse créée par Catherine de Francheville afin de proposer des retraites de quelques jours aux femmes du monde désireuses de retrouver un peu de spiritualité.

Lors de la percée de la rue Victor Hugo, le domaine est amputé d’une grande partie de son terrain, sur le côté est.

L'église paroissiale Notre-Dame du Mené, en mauvais état, est détruite en même temps qu'un logis au nord-est des bâtiments de la Communauté. Une partie du terrain est alors vendue par les religieuses à une société commerciale qui y construit en 1967 un magasin Monoprix, tandis que sur le terrain restant est édifiée une chapelle moderne en béton.