Contigu a l'Ajuntament del qual està separat pel Carreró dels Jueus. De 1883 a 1892, es va instal·lar en ell l'Audiència d'Assumptes Criminals del Partit Judicial de Sant Mateu, fet este que condicionà el nom pel qual es coneix popularment este edifici. Este palau està datat en el segle XV. Presenta una àmplia fatxada de carreus de composició simètrica junt amb una porta d'accés situada davall d'un gran arc adovellat. També cal destacar la volada construïda amb vols successius de teules i rajola.