Le château Gaillard de Vannes fut construit au début du 15ème siècle sur une étroite parcelle proche du rempart de la ville, par les Chevaliers de Malte. Ensuite propriété de Gaillard Tournemine qui lui donna son nom, puis de Jean de Malestroit, évêque de Nantes et chancelier du duc de Bretagne, il fut vendu en 1456 au duc Pierre II qui y installa le Parlement de Bretagne jusqu'en 1532. C’est en ce lieu, selon les dires populaires, que logèrent les nourrices des ducs de Bretagne.

Revendu par la couronne et, suite à de nombreux propriétaires dont Pierre de Sérent qui fit aménager son deuxième étage, il devint en 1912 le siège de la Société Polymathique du Morbihan, aujourd’hui le musée d’histoire ancienne et d’archéologie de la ville.