Alfons d’Aragó, va visitar l’ermitori i es va quedar meravellat del lloc. Per la seva bellesa, fama i protecció internacional que anava adquirint aquest sagrat lloc, símbol de la contrareforma catòlica dels Àustries, Alfons d’Aragó va decidir protegir el Santuari i construir-se un palau amb claustre inclòs per allotjar-se durant les seves ocasionals visites. Les obres es van iniciar amb el claustre, es conserven les restes inacabades, però mai es va concloure per l’enemistat profunda amb Jofre de Borja, bisbe que protegia l’hostatgeria.
La Casa “dels Capellans” es va construir on anava a situar-se el Palau dels ducs de Sogorb. El canvi de les circumstàncies socials va acabar convertint-lo en la casa que albergaria la capellania de l’ermitori.
Donada la protecció Papal i Real de la que gaudia el Santuari i la seva gran importància religiosa i política, es va veure la necessitat de crear una congregació religiosa que regentés espiritualment i econòmicament el lloc. Això va portar al papa Pius V a instituir capellania al Santuari amb sis clergues i un prior a la Casa “dels Capellans” en 1566. Seria el centre organitzatiu de tot el conjunt.
Aquesta comunitat religiosa va estar de manera permanent fins al s.XVII i tenia total poder per governar i regir l’ermitori.
Al costat d’aquesta, l’inacabat Palau del Duc Alfons d’Aragó iniciat en 1523 i mai finalitzat, era allotjament del servei de la Casa “dels Capellans”.
Actualment, aquestes dependències de l’ala esquerra de l’església han estat adequades com a restaurant i museu.