Situado entre los ríos Tajo y Jarama, fue utilizado ya como residencia real en época de los Reyes Católicos. Felipe II inició el palacio con los mismos arquitectos de El Escorial, Juan Bautista de Toledo y Juan de Herrera, terminándose en el reinado de Fernando VI, con la incorporación de dos alas en tiempos de Carlos III.
La actual decoración del palacio recoge sobre todo aportaciones del siglo XVIII, entre las que destacan el Gabinete de Porcelana y el Salón de Espejos. En las dependencias de la planta baja se encuentra el Museo de la vida en Palacio con curiosas piezas sobre la vida cotidiana en las Residencias Reales.
En la visita es recomendable pasear por su jardín, conocido como Jardín de La Isla, rodeado por el Tajo y por un canal del mismo, «la ría», que lo separa del palacio. Está enriquecido con fuentes de los siglos XVI y XVII, en su mayoría italianas. En conjunto es el jardín español más importante y característico de la Época de los Austrias.