Construido por Los Templarios sobre restos de una antigua alcazaba árabe, sufrió pequeñas reformas bajo el mandato de Benedicto XIII transformándolo en palacio papal.Declarado monumento Histórico-Artístico en 1931, está emplazado en la zona más elevada del peñón, a 64 m sobre el nivel del mar, con un perímetro de 230 m.