El Castell disposa de dos espais clarament diferenciats i que s'han denominat Castell Major, disposat a la dreta, i el Castell Menor, ubicat en la part esquerra. És en la dreta on es localitza l'espai reservat per al Pati d'Armes, que compta amb un ampli mirador. El Castell Menor presenta un recinte murallat de menors dimensions pel qual s'accedix a través d'una portada d'estil gòtic. En este punt s'ubica una plaça en què es relata l'origen i part de la història del Castell. La història del conjunt defensiu està íntimament lligada a la seua proximitat amb la Via Augusta que discorria des de Roma fins a Cadis i que va situar a Xàtiva en una posició estratègica.