La primera referencia escrita sobre el edificio aparece a principios del siglo XV, cuando la sinagoga es consagrada al culto cristiano, si bien es cierto que el templo pudo ser construido en el siglo XIII, o incluso según algunos indagadores en el XII.
En el año 1550, uno de los más afamados prelados que han ocupado la cátedra toledana, el cardenal Silíceo, convirtió la sinagoga en albergue para mujeres de vida dudosa. Dicho establecimiento benéfico era conocido como El Refugio de la Penitencia. A mediados del siglo XVII quedó suprimida esta función, al disminuir considerablemente el número de mujeres alojadas, por lo que el edificio quedó como ermita de la Virgen Blanca hasta 1791.
A partir de este año el santuario fue destinado a cuartel, siendo restaurado en 1798 al presentar seria amenaza de ruina. A continuación consta su utilización como almacén militar y de la Real Hacienda. Finalmente fue restaurada en 1851.
La advocación de Santa María la Blanca se debe a que allí se conservaba una imagen de ésta, copia de la del coro de la Catedral, hasta la secularización del templo en 1791.
Como curiosidad añadiremos que fue incendiada en 1391, fruto de los enfrentamientos con el pueblo judío.
El contenido de la exposición del museo llega hasta la época actual, enfatizando en el exilio y desarrollo de las diferentes comunidades hebreas por todo el mundo.
