La torre original sirvió de alojamiento al Virrey Calleja, una figura de excepcional importancia en la historia de México. La torre ha sufrido muchos desperfectos, agravados por la caída de un rayo en 1970. Actualmente es un edificio restaurado.