Serían los Reyes Católicos quienes consolidarían la nobleza de este territorio, y de la villa de Valdeolivas. Así en los preámbulos de la batalla de Toro contra el rey de Portugal, en el años 1475, se dirigen a Don Diego Hurtado de Mendoza en los siguientes términos:
"avemos acordado e deliberado de vos fazer e fazemos Duque de vuestras villas de Alcocer, Salmerón e Valdeolivas que se llaman del infantadgo, e queremos e nos plasce que de aqui adelante para toda vuestra vida se hades llamado e intitulado e vos llamades e intituledes Duques del Infantado e despues de vos aquel o aquellos que vuestra Casa de Mayoradgo hereden para siempre jamas ..."
Son testigos de esta época de esplendor sus numerosas casas blasonadas, con trabajos de sillería y forja.
Ya en el siglo XVIII se levantan sus tres molinos de viento situados a las afueras del pueblo; bellas construcciones circulares realizadas con sillares y decoradas con escudos sobre sus puertas.