La hospedería, se realizó bajo la protección del obispo de Segorbe, Jofré de Borja entre 1531 -1536, debido al auge del Santuario al siglo XVI. Es un conjunto de alcobas destinadas a acoger a los peregrinos al Santuario. El primer piso fue construido en el siglo XVI ocupando la parte superior de la sala de la cocina, posee mejor carpintería y canteria que la planta superior. El segundo piso fue añadido en el siglo XVII (1619) con acabados más pobres dado que ya se iniciaba la época de decadencia.

Para su construcción se emplearon muros de masonería y ventanas rectangulares de cantería con molduració de tradición gótica. La carpintería, de excelente oficio, muestra una variada muestra de diseños de modelos renacentistas.
Entre las salas destaca la llamada del Obispo, las vigas descansan sobre ménsulas esculturades con cabezas humanas de un obispo, un cardenal, un capitán y un turco, la tradición las vincula con las reuniones previas a la batalla de Lepanto.
Fue visitado, igual que por miles de peregrinos, por ilustres personalidades eclesiásticas y civiles, reyes, príncipes, cardenales y obispos. Entre otros el niño Alfonso de Aragón, Felipe II, Don Juan de Austria, Felipe III, Margarita de Austria, el Archiduque Alberto, Felipe IV, Jofré y Rodrigo de Borja
En 1599, Margarita de Austria pasó de camino en Valencia para contraer nupcias con Felipe II. Más tarde los dos estuvieron para solicitar la cura de su primogénito, el futuro príncipe heredero Felipe IV que sería el último rey de la Casa de Austria.