El convento de San Juan de la Cruz está situado en el mismo lugar donde se encontraba el antiguo convento de Santa María de Rocamador que fuera fundado en 1208 y que en el año 1566 los trinitarios desistieron para ocupar otro lugar de la ciudad.
En 1579 falleció Don Juan de Guevara, el cual dejó los fondos necesarios para la fundación de un convento en Segovia. Su viuda realizó todas las gestiones pertinentes para la llegada de los carmelitas descalzos y en 1586 se estableció el convento de esta orden en un lugar provisional.
El mismo año se procedió a la compra del antiguo convento trinitario y fue entonces en el año 1588 que se ocupó la nueva casa. En esta fundación intervino San Juan de la Cruz, que en la actualidad está enterrado y venerado en esta iglesia.
