Es uno de los elementos que define la topografía histórica del núcleo urbano. En sus laderas se han descubierto restos de viviendas y fortificaciones de la Dianium romana.

Su diseño se remonta a época islámica, entre los siglos XI y XII. Desde entonces, distintas reformas se reflejan en su arquitectura. Destacamos las de época almohade, la construcción de la Torre del Consell en el S. XV y de la Torre Roja en el S. XVI y los baluartes y otros sistemas defensivos de estilo renacentista, así como la reedificación del Palacio del Gobernador, en los siglos XVI y XVII, bajo los auspicios del Duque de Lerma, Marqués de Dénia. La destrucción del Palacio y de la Vila Vella durante la Guerra de Sucesión y el abandono de la plaza militar en el año 1859 definen los últimos siglos.

En la actualidad el castillo se configura como un conjunto patrimonial emblemático, escenario de obras de conservación y restauración, así como de innovadoras propuestas de difusión.

Está situado sobre una suave colina junto al mar y en el corazón de la ciudad, desde la parte más alta se contempla una magnífica vista panorámica del entorno. Es marco de numerosos eventos culturales y en su interior se halla el Museo Arqueológico de la ciudad.