L’ancien couvent des Ursulines de Vannes, situé rue Thiers, non loin du port, date de 1630. Les jésuites en deviennent propriétaires en 1838. Ils y fondent le collège Saint-François-Xavier en 1850. Des agrandissements et des travaux sont réalisés dès 1852 en conservant le style du bâtiment, les deux grands corps de logis en équerre, à l’origine du couvent, sont complétés autour du cloître par des ailes affectées aux salles de classe et aux dortoirs, formant un quadrilatère jusqu’aux chapelles. Les deux cours fermées, séparées par des grilles, sont bordées par d’autres bâtiments.

 

Reconverti en hôpital militaire pendant la première guerre, le collège disparait dans un violent incendie, le 29 mai 1949. A partir de 1950, un nouveau collège est construit autour des parties restantes de l’ancien, le cloître et la chapelle.