Sabemos que existía ya en Villavieja a finales del siglo XIX una Agrupación de Trabajadores, que socorría los accidentes de trabajo, la vejez y la inutilidad. Había fundado también una Cooperativa donde se vendían artículos de primera necesidad. Otra de las tareas primordiales de la agrupación fue promover la cultura entre sus afiliados y a tal fin se estableció una escuela de adultos, que funcionaba preferentemente durante los inviernos. De esta época, se conserva a la entrada de la dehesa, por el denominado "camino de los dulces", una piedra de granito que recuerda la celebración del primero de mayo de 1900.
Tras la guerra civil y la dictadura, se volvió a celebrar esta fiesta por los trabajadores villaviejenses. Se iniciaban los actos con una concentración en la Plaza Mayor, para marchar luego en manifestación hacia el monolito de la dehesa donde diversos representantes sindicales de CCOO y UGT pronunciaban sendos discursos reivindicativos, tras los cuales daban comienzo los actos festivos propiamente dichos: reparto de chochos y limonada, baile, juegos populares, etc, etc.