Sur les hauteurs de la ville de Châteaulin, subsistent les ruines de l’ancien château ducal.

En 1066, Châteaulin entre dans le domaine ducal, une forteresse remplace le premier château en bois édifié sur la butte au-dessus de l’Aulne. Un mur d’enceinte afin une quinzaine de petites tours faisait tout le périmètre de la montagne. Le château, pris et incendié par les Anglais en 1373, ne sera jamais reconstruit. Ses ruines serviront alors de carrière de pierres pour la chapelle voisine.

Au 17ème siècle, le château et sa motte sont donnés à une congrégation afin d’y construire un hospice qui deviendra plus tard une maison de retraite.