La ciudad de Cáceres al igual que otras localidades extremeñas como Trujillo o Badajoz, experimentó un notable auge en la época de la colonización americana que enriqueció a algunas familias de conquistadores (Juan de Toledo contrajo matrimonio con Isabel de Moctezuma hija convertida al cristianismo de Moctezuma II) que trasladaron su nuevo poder a sus lugares respectivos de origen. Su construcción realizada sobre otra anterior, se compone de varios cuerpos de almohadillado y ladrillo, así como sus puestas y ventanas adinteladas presididos por una impresionante torre con cúpula. En el interior de estilo renacentista-herreriano destacan las columnas de éntasis pronunciado y los elementos aztecas de decoración. En la actualidad este edificio alberga el Archivo Histórico Provincial de Cáceres.