Con los materiales procedentes del derribo del castillo, el obispo Gómez de Ahedo comenzó a edificar la Casa de la Misericordia y Hospital a finales del siglo XVII. Es de planta rectangular y se organiza en torno a un claustro central de doble altura, en uno de cuyos ángulos se alza un torreón con capitel escurialense. La fachada neoclásica presenta un recercado de piedra común a puertas y ventanas y está rematada por un amplio alero de teja sobre friso de triglifos. Hoy en día alberga el Hotel Martín el Humano.