Alfonso de Aragón, visitó el ermitorio y se quedó impresionado del lugar. Por su belleza, fama y protección internacional que iba adquiriendo este sagrado lugar, símbolo de la contrarreforma católica de los Austrias, Alfonso de Aragón decidió proteger el Santuario y construirse un palacio con claustro incluido para alojarse durante sus ocasionales visitas. Las obras se iniciaron con el claustro, se conservan los restos inacabados, pero nunca se concluyó por la enemistad profunda con Jofre de Borja, obispo que protegía la hospedería.
La Casa “dels Capellans” se construyó donde iba a situarse el Palacio de los duques de Segorbe. El cambio de las circunstancias sociales acabó convirtiéndolo en la casa que albergaría la capellanía del ermitorio.
Dada la protección Papal y Real de la que disfrutaba el Santuario y su gran importancia religiosa y política, se vio la necesidad de crear una congregación religiosa que regentara espiritual y económicamente el lugar. Esto trajo al papa Pío V a instituir capellanía al Santuario con seis clérigos y un prior en la Casa “dels Capellans” en 1566. Sería el centro organizativo de todo el conjunto.
Esta comunidad religiosa estuvo de manera permanente hasta el s.XVII y tenía total poder para gobernar y regir el ermitorio.
Junto a esta, el inacabado Palacio del Duque Alfonso de Aragón iniciado en 1523 y nunca finalizado, era alojamiento del servicio de la Casa “dels Capellans”.
Actualmente, estas dependencias del ala izquierda de la iglesia han sido adecuadas como restaurante y museo.