Su procedencia se remonta a época árabe, hecho supuesto y probado pero del que no existe constancia documental. Tenemos que remontarnos a los años posteriores a la Reconquista para tener datos puntuales sobre la fortaleza. El 11 de Marzo de 1088 el monarca Alfonso VI fundó en este lugar un monasterio dedicado a los santos Servando y Germano, dotándolo de importantes donaciones y privilegios.
Los monjes se vieron obligados a abandonar el monasterio entre el 1099 y el 1010, debido a los constantes ataques musulmanes facilitados por su situación extramuros. La reina doña Urraca cedió el edificio en 1113 al arzobispo don Bernardo, perteneciendo a la Catedral como mínimo hasta principios del siglo XIII. Desde esta época hasta fines del siglo XIV no sabemos los avatares sufridos por el monasterio, hasta que entre 1380 y 1389, tras las intestinas guerras entre Pedro I y su hermano ilegítimo Enrique de Trastámara, fue reconstruido por el arzobispo Pedro Tenorio.
No permaneció en buen estado mucho tiempo, ya que en el siglo XVI parece ser que volvió a presentar estado de ruina, no siendo restaurado pero sí utilizado para distintas funciones, como consta la de polvorón en 1857. En 1873, a causa de su deplorable estado, salió a subasta por precio inferior a 3.500 ₧ (21 €), lo que originó que interviniera en 1874 la Comisión Provincial de Monumentos declarando al castillo Monumento Nacional, siendo el primer castillo en la península en recibir tal denominación. Distintos trabajos arqueológicos realizados en 1920 descubrieron varias tumbas medievales.
El edificio fue cedido en 1945 a la Delegación de Juventudes, quien restauró el castillo para fines propios. En la actualidad es utilizado como albergue y residencia universitaria.
