Originariamente puesto bajo la advocación de San Juan Bautista, y conocido popularmente como el Hospital de Afuera por su situación extramuros. Tal situación era debida a las ordenanzas municipales de la época, que prohibían la construcción de edificios destinados a fines sanatorios dentro del casco urbano. La obra es fundación del cardenal Juan Pardo Tavera, de quien el hospital tomó su popular nombre. La construcción comenzó en el año 1541, siendo Alonso de Covarrubias el primero en conducir la fábrica. A mediados del siglo XVI Covarrubias cedió el mando al hasta entonces aparejador, Hernán González de Lara, quien guió las obras hasta su fallecimiento en 1577. Le sucedió entonces Nicolás de Vergara el Mozo, dejando impronta de su particular trabajo en la iglesia del hospital, donde fue enterrado el fundador.
En la actualidad el inmueble alberga un colegio de educación primaria, así como el Archivo de la Nobleza.
Finalmente fue declarado Monumento Nacional por Real Orden el 21 de Diciembre de 1921. Podemos ver el Hospital de Tavera en numerosas y afamadas películas.
