Según los expertos teólogos, San Ildefonso tomó los hábitos religiosos desde temprana edad en el convento de Agalia, muy cerca de Toledo, donde llegó a convertirse en abad. La leyenda sobre su vida cuenta que un día se hallaba rezando ante las reliquias de Santa Leocadia, cuando la mártir surgió de su tumba y le agradeció al santo la devoción que mostraba a la Madre de Dios.
Más adelante se cuenta que en otra ocasión, la Virgen María se le apareció en persona y le regaló una vestimenta sacerdotal cómo recompensa por su celo al honrarla. El santo murió el 23 de enero de 667, según atestiguan los documentos de la época.