Sur l’emplacement de l’ancienne forteresse des ducs de Gondi, Vauban fait édifier en 1683 une citadelle bastionnée capable de loger 2 000 hommes, afin de protéger le port de Belle-Ile contre les attaques anglo-hollandaises. Mais ses recommandations supplémentaires ne sont pas écoutées et la ville ne sera pas fortifiée, ce qui amène la prise du Palais par les Anglais en 1761. Ceux-ci garderont l’île pendant deux ans jusqu’au traité de Paris. Une enceinte urbaine est alors édifiée mais les progrès de l’artillerie rendent déjà ces travaux obsolètes. La citadelle sera désaffectée en 1933.

En 1848, des baraquements sont construits sur les glacis pour y installer une caserne du dépôt qui, en 1880, devient une colonie pénitentiaire pour mineurs. Ce bagne pour enfants fermera en 1977.

Un musée d’art et d’histoire se partage aujourd’hui les bâtiments de la citadelle devenue privée en 1960, avec une hôtellerie créée par ses propriétaires.