El Palacio dels Milà i Aragó, ubicado junto a la Iglesia, es, sin duda, el edificio más monumental y emblemático de la ciudad de Albaida. Símbolo del antiguo poder feudal ahora se ha transformado en espacio público con múltiples pinturas barrocas y obra de Bertomeu Albert de finales del siglo XV. Son especialmente relevantes las salas del Trono, de la Música, del Cristo, la Blanca y el dormitorio del Marqués.

Construido a finales del siglo XV (1471-1477) el primitivo palacio nace a partir de las primeras murallas que los musulmanes construyen en el siglo XI

La función del palacio ha variado según los tiempos. Ha sido residencia de barones, condes y marqueses, sede del Ayuntamiento (1936-1939), espacio de reclutas (1938) y sede de la entidad benéfica 'La Dominical'. Actualmente el palacio alberga el Museo Internacional de Títeres de Albaida.