Une légende raconte qu’en pays de Léon, un jeune homme du village de Cléder tua un dragon qui terrorrisait la population locale. Pour le remercier, Saint Pol Aurélien l’annoblit en le faisant seigneur de Kergournadeac'h, la “terre de l’homme courageux”.
Du premier château daté du 13ème siècle, il ne reste rien. Le château actuel date de 1623. Il fut incendié en 1760 par sa propriétaire, la marquise de Molac qui espérait ainsi pousser son fils vers la Cour de France au lieu de le voir rester sur ses terres de Bretagne. Les pierres et les poutres du château furent dispersées, elles servirent à la construction des églises environnantes.