Près de l’enceinte de la ville et de la mer, se dresse tout un réseau de tours de guet et défense. Les plus proches à la côte font partie du réseau d’alerte face à la présence des pirates bérébères et de la flotte fraçaise. Les tours de l’intérieur, servaient de défense aux terrains agricoles éloginés des châteaux. En ce qui concerne la tour du Comte et la maison adossée, elles ont été touchées par le temps, même si à l’intérieur se conservent encore la distribution en étages et les escaliers.