Junto a una segunda puerta, la de Alarcones, era la del Sol una defensiva torre que constituía el principal acceso a la población musulmana. El aspecto que hoy en día presenta, como en la mayoría de monumentos toledanos, es producto de las sucesivas restauraciones que ha sufrido a lo largo de los siglos. Su construcción primitiva data de los siglos X-XI, conservando de esta época los arcos de herradura. La referencia documental más antigua conservada de la puerta se remonta a 1216, citándose entre los documentos de un litigio judicial.
Durante el desarrollo de las guerras intestinas entre Pedro I y Enrique de Trastámara la puerta debió sufrir serios desperfectos, que fueron subsanados al igual que otros edificios destruidos por el prelado Pedro Tenorio. Es esta reforma la que ha proporcionado a la construcción el aspecto que mantiene, con su torre exterior redondeada, siguiendo los modelos del mudéjar toledano.
El conjunto fue también conocido temporalmente como Puerta de la Herrería, a causa de las numerosas forjas que se aglutinaban a sus alrededores. Sin éxito se trató en 1575, siendo corregidor Gutiérrez Tello, de sustituir el nombre de la puerta por el de Puerta de San Ildefonso, colocando una losa de mármol con la escena de la imposición de la casulla al santo obispo.
Otra lápida, situada sobre el arco menor, representa una escena discutida desde antaño por los estudiosos. Unos aseguran que se trata de una representación de dos discípulos de San Juan de la Cruz, a quien fue dedicada antiguamente la puerta, sosteniendo la cabeza de su maestro sobre una bandeja de plata. Otros, sin embargo, creen que se trata de dos doncellas toledanas forzadas por el infame alcaide de Toledo Fernando Gonzalo, a las que el monarca Fernando III concedió la cabeza de su cruel transgresor para resarcir daños.