Fortaleza musulmana del siglo X, el Castillo ha sido reconstruido en numerosas ocasiones debido a los numerosos conflictos bélicos en los que tomó parte, aunque ello apenas afectó a la ordenación primitiva del espacio. La más significativa fue la que se llevó a término por las tropas gubernamentales en 1839 después que los Carlistas intentarán destruido en 1836.

En las últimas excavaciones arqueológicas realizadas en el Castillo se descubrió un palacio islámico del siglo XI. Se trata de un ejemplo único en el contexto de la arquitectura palaciega musulmana de España de suma importancia.

Los edificios de la Iglesia y la Escuela fueron construidos a principios del siglo XX por los frailes carmelitas aprovechando, en el caso de la escuela, la estructura del aljibe principal del Castillo. Estos dos edificios son los que desde la última remodelación del Castillo albergan la zona de acogida a los visitantes y la sala de exposición permanente del Museo de Historia Local respectivamente. En este último se encuentra su pieza estrella, un conjunto de yeserías musulmanas único en la Comunidad Valenciana que perteneció a un pequeño palacio árabe que se ubicaba en la plaza de San Cristóbal en el Centro Histórico.