Es este antiguo hospital una fundación del insigne cardenal Pedro González de Mendoza, quien quiso dejar como legado una institución destinada a acoger niños huérfanos y a atender enfermos. En 1495, antes del inicio de las obras, ya había fallecido el prelado, pero el empeño de su albacea testamentaria, la reina Isabel la católica, hizo que el deseo de su confesor se ejecutara finalmente. El primer problema surgió a la hora de ubicar el edificio, ya que Mendoza había concertado con el Cabildo Catedralicio su emplazamiento en las casas del Deán y del propio Cabildo situadas junto a la catedral. Por un motivo u otro esto no pudo ser, por lo que gracias a la intervención de la reina se dispuso el lugar actual, ocupado entonces por el monasterio de San Pedro de las Dueñas.
En 1504 se coloca la primera piedra, siendo los primeros directores de la obra los hermanos Enrique y Antón Egas. En 1517 toma el relevo Alonso de Covarrubias, a quien se le debe la soberbia portada plateresca, además del claustro y su bella escalera. Las obras se dieron por finalizadas en 1525, aunque ya desde 1514 el hospital venía prestando algún servicio. La institución dependía del Cabildo, y en ella se acogían los niños que por falta de recursos eran depositados por sus madres en una almohadilla destinada a tal fin junto a la Puerta del Reloj, en la Catedral.
Tras la desamortización fue cedido el edificio a la Academia de Infantería, quien hizo uso de él para fines militares hasta finales del siglo XIX. En 1902 pasa a ser propiedad de la Diputación Provincial, utilizándose como Museo Provincial y Biblioteca Pública. En 1914 se instala el Museo Arqueológico.
Con la Guerra Civil de 1936 el edificio sufrió serios daños por su proximidad al Alcázar, principal objetivo de los bombardeos. No fue reconstruido hasta 1958, año en que se celebró una importante exposición sobre el Emperador Carlos V. Viendo el excelente resultado de tal muestra se optó por instalar un Museo de Bellas Artes, aprovechando fondos restantes de los anteriores. Además se trajeron fondos de especial importancia, como son los tapices de la Catedral y valiosas obras de El Greco.
La disponibilidad de exposiciones en sus salas varía según la necesidad del momento, aunque siempre se exhiben al público los fondos del Museo Arqueológico así como las pinturas de El Greco.
