La crypte est la partie la plus ancienne, elle daterait du Xème siècle. Elle a été bâtie sur l'emplacement d'un temple romain dédié à Mercure. Des inscriptions provenant de ce temple se trouvent dans la crypte. Elle est de style roman avec une alternance de couleurs sur les arcs qui supportent les voûtes. Les moines conservaient leurs reliques dans la crypte. C'est aussi dans ce lieu que les habitants étaient baptisés, avant que les fonds baptismaux ne soient déplacés dans la nef de l'église.