Sulla vetta di Monte Capraro sono visibili i resti di un eremo benedettino medievale intitolato a san Giovanni Battista. L’edificio religioso è menzionato per la prima volta in un documento notarile del 1040. In quell’anno, Gualtiero Borrello, signore di Agnone e di tutte le sue pertinenze (tra cui Capracotta), dona al monastero benedettino di San Pietro Avellana tutto l’agro compreso nel versante settentrionale della montagna di Vallesorda e del Monte Capraro fino alle sorgenti del fiume Verrino e fin sotto l’abitato di Capracotta, tra cui l’eremo di san Giovanni Battista.
Ma il documento più importante relativo all’Eremo è il Memoratorio del priore Ruele del 1171. Si tratta, infatti, di uno dei documenti più antichi della lingua italiana. In una decina di righe, il frate scomunica chiunque volesse separare la chiesa dei santi apostoli Simone e Giuda dal restante territorio dell’eremo sul Monte Capraro. Il testo è ancora in gran parte in latino ma alcuni termini e la struttura di alcune frasi risentono dell’influenza della lingua volgare. In particolare, il termine “iurni” come più antica attestazione italiana del tipo “giorno” e la trasformazione dell’avverbio latino “sic” in “scì” ancora usato in queste contrade come particella affermativa per l’italiano “sì”.