Au milieu du 17e siècle, Sainte Anne apparut plusieurs fois à Yves Nicolazic, un paysan du village de Ker Anna, situé à l’époque sur la commune de Pluneret, afin de lui réclamer l’édification d’un sanctuaire, ce qu’il fit.

​

La chaumière où avait vécu le fondateur de Sainte-Anne-d’Auray devint alors célèbre. Elle connut plusieurs incendies, le dernier en 1902. A cette époque, de nombreux curieux venaient s’y faire photographier par les éditeurs de cartes postales.