El documento histórico sobre la ermita de la Virgen de Altagracia más antiguo corresponde a unas escrituras sobre la huerta en donde supuestamente se apareció la imagen de Ntra. Sra. De  Altagracia
         La primera escritura está fechada en Siruela el 17 de Agosto de 1452 y trata sobre  el agua de la "Huerta de Ntra. Sra. De Altagracia"
         La segunda escritura, fechada el 22 de abril de 1495 en la villa de Cervera. En esta escritura D. Francisco de Velasco , II conde de Siruela, deja una donación a la ermita de una lámpara que arda noche y día.
        La tercera escritura se redacto en Siruela, por mandato del V conde de Siruela, D. Gabriel de Velasco y de la Cueva, el 11 de abril de 1566. Su contenido principal es una copia de las anteriores escrituras y confirmar lo que ellas mandaban.

Pedro Ruiz de la Rubia, Mayordomo de la Hermita de Nuestra Señora de Altagracia extramuros de la Villa de Siruela.
Digo, que la Santa Ymagen de la Virgen María, Nuestra Señora que está en la dicha Hermita, es de mucha deboción no solo en la dicha villa sino en toda la comarca y no está con el adorno que debía estar, y para que tenga el mayor que se pueda y esté con el decente aparato, tengo tratado de hacer un trono y arco, en que ponerla, el qual tengo corcertado de hacer con el escultor en trescientos y veinte Reales y con el Pintor en quatrocientos y cinquenta y uno de lo cual serán menester más de otros cien Reales para las varras de Yerro, tornillos y otras cosas con que se ha de fortalecer el dicho arco.
Postrado a Vuestros Pies pido y suplico me mande dar licencia para hacer el dicho trono y arco de los vienes de la dicha Hermita y de las limosnas que se allegan que en ella se hará gran servicio a Dios nuestro Señor y a su Santísima Madre.
     Pedro Ruiz de la Rubia
Archivo diocesano de Toledo

La aparición de la Virgen de Altagracia es similar según la leyenda a otras tantas apariciones de la Virgen.
No queda clara en la memoria "histórica" de dicha aparición si se trataba de la "Virgen en persona" o de una imagen de la Madre de Dios.
De una forma  u otra se cuenta que se apareció a unos labriegos que trabajaban por esos parajes de la actual ermita.
Lo curioso de esta "historia" es que la Virgen se apareció de espaldas a lo que el pueblo de Siruela, y mirando hacia Almadén. Se cuenta que hubo discusiones entre ambos pueblos por saber a quien pertenecía la imagen. Los habitantes de Siruela dieron la vuelta a la Imagen, pero este regresaba a su posición original.
Esto provocó aún más pleito entre los dos pueblos, llegando incluso a los tribunales……. Al fin las aguas volvieron a su cauce y parécese que la actual ermita se construyó entre ambos pueblos.

Corría el año 1895, al abrir como de costumbre la santera, la ermita, observó con asombro que la imagen de la Virgen no se encontraba en su trono.
Asustada, corrió al pueblo para comunicárselo al mayordomo, quien, sin pérdida de tiempo, se trasladó, con las autoridades al lugar de los hechos para comprobar lo que pensaba sería un robo sacrílego.
Cuando llegaron a la ermita vieron que se trataba de una falsa alarma, pues la imagen, como siempre, se encontraba en su trono.
Considerando el mayordomo que se  trataba de una broma de mal gusto, increpó a la santera y la amenazó con el despido. La pobre mujer, llorando, se postró de rodillas ante el altar de la Virgen pidiendo insistentemente que se aclarase n los hechos. Cuentan los más viejos del lugar que en ese momento todos pudieron oír una voz de procedencia extraña y desconocida que decía: "Vengo de salvar a mis hijos que luchan en Cuba".

El suceso corrió por el pueblo, al que dieron las más diversas versiones; más, cuando unos días después, quitaban su manto viejo para ponerle el de gala, con motivo de sus fiestas, vieron con estupor, como estaba totalmente agujereado.