Originalmente el retiro espiritual de la pareja más poderosa de España, Isabel y Fernando, el Retiro se transformó en un palacio de placer cuando el menos devoto Felipe IV se coronó rey.
Construidos por su valido (equivalente a primer ministro), el conde duque de Olivares, más de 20 edificios se levantaron entre 1630 y 1660 para complacer al rey, amante de los bailes, el teatro y las recreaciones de batallas navales en el lago central del parque.
El Palacio de Velázquez no es la única galería Reina Sofía cercana. Si se aventura más al sur, encontrará el Palacio de Cristal, un enorme invernadero construido en 1887 para albergar la flora traída de Filipinas, entonces colonia española. Lamentablemente, en aquella época, también se trajeron indígenas filipinos, obligados a vivir en su "hábitat natural" junto al estanque ornamental. La oscura historia de este zoológico humano fue debidamente expuesta y condenada en una exposición realizada en 2021 por el artista filipino Kidlat Tahimik en ese mismo espacio.