Además de la ermita de los Santos Nuevos, Almarza cuenta con otra pequeña ermita de planta octogonal dedicada a la Inmaculada Concepción que se llama ermita de la Soledad.

A medio kilómetro del pueblo en dirección sur se encuentran escombros de otra ermita derruida, cuyos muros fueron restos antiguos de un templo que comunicaba la casa de los Marqueses de Nevares con el adosado convento de los Padres Dominicos. Pernoctó varios días en este convento "San Raimundo de Peñafort"

De la ermita dedicada a la Inmaculada Concepción pocos datos tenemos. La piedra que se encuentra en frente de la puerta nos indica que se construyó "a costa de los caudales testamentarios de Don Alonso Sanz Parno, el sucesor del Mayorazgo ...".

Actualmente se encuentra la ermita en fase de reconstrucción.