Nell'Ottocento le remote colline sopra Chimayó divennero famose come il cuore della misteriosa setta ispanico-cattolica dei Penitentes. I nuovi arrivati angloamericani dicevano di aver intravisto delle figure incappucciate lungo la cresta delle colline all'alba, che si fustigavano mentre camminavano.

C'era del vero nelle loro ipotesi. L'automortificazione - infliggersi il dolore per poter condividere la sofferenza del Cristo - era una pratica diffusa nell'Europa medievale. La spedizione spagnola che fondò il New Mexico, si autoflagellò il Venerdì Santo del 1598, durante la marcia attraverso il Messico; atti simili compiuti dai primi missionari francescani si guadagnarono il disprezzo degli indiani pueblo. I Penitentes veri e propri, tuttavia, nacquero dopo l'indipendenza del Messico, nel 1821. Privati dei fondi provenienti dalla Spagna, i francescani sparirono dal New Mexico nell'arco di vent'anni, lasciando la regione praticamente senza preti. I cattolici di origine spagnola formarono alcune confraternita laiche per mantenere viva la fede.

I Penitentes - Los Hermanos de Nuestro Padre Jermía Nazareno - si formarono probabilmente su un esempio guatemalteco, introdotto nello stesso periodo della nascita del santuario di Chimayó. Dopo un'enfasi iniziale sulla preghiera individuale e sulla penitenza, svilupparono un complesso sistema di rituali. Non amministravano sacramenti, ma portavano conforto ai cattolici costretti a vivere - e morire - senza sacerdoti. La confraternita dei Penitentes divenne presto una società di mutuo soccorso per la comunità e una forza culturale e politica, oltre che spirituale.

Dopo il passaggio del New Mexico agli Stati Uniti nel 1846, i Penitentes rimasero improvvisamente emarginati non solo nel loro stesso paese, ma anche nella propria chiesa. II primo vescovo cattolico di Santa Fe, Jean-Baptiste Lamy, nutriva poca simpatica per le eterodossie dei suoi fedeli ispanici, e negò i sacramenti al loro più eminente rappresentante, Padre Martinez di Taos. I Penitentes furono costretti alla clandestinità e iniziarono a riunirsi di notte in luoghi isolati. Essendo loro negato ufficialmente l'accesso alla chiesa, si incontravano in semplici strutture in adobe, le moradas - che non si distinguevano attraverso croci o torri, ma erano adornate con immagini sacre fatte a mano, i santos.

Il centro dell'attività rituale era la Quaresima, in occasione della quale i Penitentes cercavano di imitare la passione e la morte di Cristo. Per le processioni, si dividevano in Los Hermanos de Luz - i Fratelli dl Luce, responsabili delle candele e della musica - e Los Hermanos de Sangre, o i Fratelli di Sangue, che si flagellavano con fruste di yucca o si caricavano gigantesche croci di legno. I partecipanti venivano incappucciati per assicurare l'umiltà. Alcuni rappresentavano la crocifissione, anche se venivano legati invece che crocifissi, mentre altri trainavano un Carro della Morte - un carro di legno che trasportava un'effigie della morte, armata di arco e frecce - riempito di sassi. Il Carro della Morte era presente anche nelle processioni dei funerali dei Penitentes, particolarmente elaborate. I tumuli di pietre visibili ai lati delle strade, sulla cui cima sono piantate delle croci, che si vedono in tutto lo High Country, non sono tombe, come molti stranieri pensano, ma descansos, posti dove coloro che portavano le bare si fermavano a riposare.

I conflitti finirono nel 1947, quando i Penitentes furono riconosciuti dal vescovo di Santa Fe. Quelli che sono rimasti oggi si considerano membri del Terzo Ordine di San Francesco, un ramo laico dell'ordine monastico dei francescani, e la maggior eredità dei Penitentes in New Mexico è la tradizione dell'arte popolare religiosa del santero.