Tras adquirir Felipe V el edificio de los Jerónimos en 1721 Teodoro Ardemans comienza la construcción de un pequeño palacio en torno al antiguo claustro que hoy es el Patio de la Fuente. Con la vuelta al trono del Rey se plantea una nueva necesidad: dar alojamiento a la Corte