A pesar de que a mediados del siglo XIX desaparecieron los señoríos, entre ellos lógicamente el de Villavieja, aún los "antiguos señores" siguieron conservando bastantes propiedades. El señorío de Villavieja permaneció en manos de los Chaves desde 1571 año en el que el rey Felipe II le vendió la villa a Garci López de Chaves. Esta familia se fue haciendo con el tiempo con otros títulos nobiliarios: marqueses de Cardeñosa, condes de Luque, .... El 22 de mayo de 1880 en la Revista del Círculo Agrícola Salmantino, una publicación semanal, se podía leer el siguiente anuncio:
La testamentaria de los Excelentísimos Sres. Condes de Luque, arrienda en esta provincia las fincas siguientes. La dehesa de Martihernando, sita en el partido judicial de Ciudad-Rodrigo, distrito municipal del Campillo de Azaba. En Ciudad Rodrigo un Solar llamado del palacio. En Martiago una casa, una cortina, un huerto y un prado, y en Villavieja un huerto y dos solares, llamados, cortina contigua a Palacio y solar del Palacio. La persona que quiera interesarse en dichos arrendamientos puede tratar con D. Joaquín Lobo Espinar, en esta Ciudad, calle dé la Compañía, número 3.
¿Se refiere ese huerto y esa cortina del Palacio al lugar que ahora denominamos "El Torreón" y que está justo a la trasera del actual edificio del Ayuntamiento? Posiblemente así sea.
