El convento de Nuestra Señora de Caños Santos, de la Tercera Orden Regular de Nuestro Padre San Francisco, estaba situado en los confines de Vallehermoso, término de la actual Olvera, aunque su titular ha gozado siempre de gran devoción no sólo en esta villa, sino también en todas las limítrofes, como Alcalá del Valle y, especialmente, Cañete la Real.

En su fundación se entremezcla la legendaria aparición de la imagen de Nuestra Señora de Caños Santos y el posterior desarrollo de los hechos históricos que derivaron en la erección de este cenobio en desierto (eremus), en un lugar solitario situado en el donadío de Vallehermoso, cuyo señorío pertenecía a la Casa de Osuna.

El establecimiento de una ermita en el lugar de los Caños Santos, donde la tradición dice que un pastor halló la imagen de Nuestra Señora, y el posterior e importante crecimiento de la devoción hacia la Virgen, propició que en 1543 se estableciera en el eremitorio una comunidad de frailes terceros, tras un período de mala administración por parte de los distintos ermitaños que tuvieron a su cargo la ermita.

La fundación del cenobio la llevaron a cabo dos importantes figuras del momento, el conde de Ureña, don Juan Téllez Girón, y el Venerable Padre fray Martín de la Cruz o de las Cruces, el mismo que erigió el convento de los Remedios de Antequera y destacada figura de la Orden. No es de extrañar en la fundación de nuestro convento la conjunción de dos personalidades como don Juan Téllez Girón, que apoyó en sus dominios el establecimiento de numerosas comunidades de frailes, y de Fray Martín, impulsor asimismo de la expansión tanto física como espiritual de su Orden.