Tras la muerte de Martín de Vargas en 1446 el monasterio fue ampliado sobre todo bajo los auspicios del obispo de Astorga García Álvarez de Toledo y más tarde del canónigo y apostólico de la catedral Francisco Álvarez de Toledo en 1494.
El edificio que hoy se conserva es en buena medida el que en aquel siglo XV se levantó en las fases citadas, si bien sufrió importantes reformas y ampliaciones posteriores, como la construcción del cuarto de la hospedería por el afamado Alonso de Covarrubias (comenzado en 1549) o la del soberbio claustro toscano bajo las trazas de Nicolás de Vergara el Mozo (iniciado en 1576 pero que tardó más de 50 años en finalizarse).
Esta Congregación Cisterciense de Castilla fundada por Martín de Vargas superó muchas trabas y vejaciones dentro de la propia Iglesia -llegó a desvincularse de la autoridad jurídica del Císter- pero sin embargo fue floreciente espiritual e intelectualmente hasta 1700, comenzando desde entonces una decadencia que tuvo su puntilla con la desamortización de Mendizábal en 1835. Son pocas las fotografías antiguas que se conservan de este edificio:




A partir de la desamortización el Monasterio sirvió como casa de labor y tuvo varios propietarios. En 1925 su propietario era Luis de Urquijo, Marqués de Amurrio, quien a instancias de Alfonso XIII promovió en él el último intento por recuperar la otrora potente industria sedera toledana. Se plantaron miles de moreras en los alrededores del edificio y en las vegas cercanas, se acondicionaron estancias y se fundó el Real Instituto Sericícola de Castilla y Extremadura.
De esta curiosa época datan estas fotografías cuya autoría se atribuye tanto a Rodríguez como a Juan Ramón Marín. En ellas se puede ver todo el proceso de obtención de la seda, desde la plantación de las moreras que los alimentaban hasta la limpieza de los capullos para separar la seda del insecto:










Aquí vemos al capellán-administrador de aquella explotación de 1925, Don Bernardo del Campo:

Aquí os dejo un interesante artículo publicado en la Revista Toledo en julio de 1925 explicando aquel proyecto:



Poco después el proyecto fracasaría y sería abandonado. De él hoy solo nos quedan aún numerosos ejemplares de morera en la zona, algunos incluso que datan de la época y otros ya naturalizados hijos de aquellos. Entre 1928 y 1930 se reformó tanto el monastario como los jardines que le rodean, según las trazas del destacado arquitecto Roberto Fernández Balbuena:










Desde 1937 y en la posguerra, el monasterio fue utilizado como prisión y campo de concentración por las autoridades franquistas, dependiente de la Inspección de Cáceres y con batallones de trabajo asociados.
Este era el aspecto del acceso en 1962:


El Monasterio de San Bernardo o de Monte Sión en Google Maps:
Ver Toledo Olvidado en un mapa más grande