La ermita fue conocida como Ermita de Nuestra Señora de las Huertas – a su alrededor existieron desde antiguo numerosas huertas- o Ermita de Nuestra Señora de Abajo, recogiendo el nombre del antiguo barrio donde se encuentra.
Si tenemos en cuenta la inscripción existente en el bello pórtico sostenido por dos columnas que marcan la puerta de entrada, podemos concluir que la construcción de esta ermita finalizó a mediados del siglo XVIII.
En su interior destaca la bella cúpula sobre pechinas, asà como la imagen de la Inmaculada Concepción y el bello retablo barroco que la protege, ambos procedentes del Convento de Santa Marina.