En este espacio religioso, al igual que en la Parroquia de Santo Domingo, la tradición sitúa una antigua mezquita musulmana que fue consagrada como Iglesia por Alfonso X tras la reconquista cristiana. Fue dedicada a San Miguel Arcángel y funcionó como parroquia hasta que a principios de siglo XVIII se traslada al nuevo edificio que había comenzado a construirse en la Plaza del Ayuntamiento. Pasó a denominarse entonces, Iglesia de San Miguel el Viejo, para después pasar a ofrecer culto a San Roque durante algún tiempo, hasta que en 1604 definitivamente se consagre a Nuestra Señora del Carmen. La portada, que da acceso a la ermita desde la placeta, se coloca en uno de los laterales del edificio. Es una sencilla portada construida con la habitual piedra de la Almagra y con una hornacina en la parte superior que protege la imagen del titular.

Ya dentro del edificio, construida sobre una planta de cruz latina, descubrimos una iglesia enteramente barroca, y es que el edificio fue remodelado durante la primera mitad del siglo XVIII. El gran crucero se cubre con una cúpula sobre rechinas y la nave central concluye en dos pequeñas capillas sobre las cuales se sitúa el coro. La única reminiscencia anterior la encontramos en el campanario de finales del siglo XV.

Todo el ajuar de la Ermita desapareció durante los años de la Guerra Civil, incluido el retablo del altar mayor, que fue sustituido después por una copia del original. En las capillas del crucero y de la nave central de la Ermita pueden verse diferentes pasos de los que posesionan en la Semana Santa de Mula. Éste es el caso del Prendimiento y la Oración del Huerto, realizadas en 1952 y 53 por Sánchez Lozano y copiadas fielmente de los originales que realizó Francisco Salzillo para esta misma iglesia.