Felipe II utilizó este Real Sitio como panteón familiar. Las obras de su construcción comenzaron en el año 1563, a cargo de Juan de Toledo. Muerto éste, prosiguió con sus trabajos Juan de Herrera, finalizando su construcción en el año 1584.