Le rocher d'Aiguilhe est considéré comme une montjoie (pyramide de pierre élevé par les pèlerins) naturelle. Il s'agit d'un piton volcanique. Une légende celtique s'y rattache et des archanges y étaient traditionnellement vénérés. On trouve de nombreuses excavations dans la roche : elles accueillaient des ermites.
L'évêque Godescalc et Trianus (doyen de la cathédrale) sont à l'initiative de la première construction de la chapelle en 962. Elle s'inspire, de façon plus modeste, du modèle d'Aix-la-Chapelle. Cet édifice primitif a été englobé dans un monument plus vaste du XIIe siècle, dont le plan, très original, suit les contours de la plate-forme qui accueille l'église au sommet du mont.
La façade et le clocher sont de cette époque, ainsi que les fresques. L'ascension du mont est alors perçue comme un complément au pèlerinage consacré à la Vierge. En 1247, le clocher est foudroyé. En 1562, les protestants détruisent la statue de Saint Michel.
Au XIXe, l'architecte Mallay reconstruit le clocher. Prosper Mérimée ordonne un débadigeonnage en 1851. Anatole d'Auvergne restaure les fresques. Enfin, en 1955, l'autel est également restauré.