Desde tiempos remotos, siglo XVI ó antes, hubo cofradías separadas de la Virgen de la Encina y de Jesús del Llano.
Esta última se le llamó ESCLAVITUD como se sabe por una escritura de capellanía fundada por D. Elvira Galindo en 1696, en cuya escritura dispuso entre otras cosas, que la aceituna de las fincas asignadas debía ponerse a censo, dedicándose el importe a LA ESCLAVITUD DEL CRISTO DEL LLANO para ayuda de las fiestas y demás gastos de dicha ESCLAVITUD, cuyo nombre no hace referencia a esclavos en sentido estricto o personas que carecen de libertad, sino aplicado simbólicamente a personas sujetas a la voluntad de Dios.
De aquí proceden la llamada FIESTA DE LOS ESCLAVOS en aquella época se celebraban en honor de Jesús del Llano el 14 de septiembre (Exaltación de la Santa Cuz) y no el 20 como en la actualidad.
Se cambió la fecha al fundirse después ambas cofradías en una, se dispuso la celebración de las fiestas de la Hermandad Única los días 19 y 20 de septiembre, una vez terminadas la recolecciones de verano y tareas de las eras. Al fundar el párroco, don José Jurado, la cofradía de San Mateo, cuya fiesta celebra la iglesia el 21 de septiembre, se agregó un día más a la FIESTA DE LOS ESCLAVOS. La imagen de la Virgen de la Encina venía al pueblo el día 8 de septiembre para su novena y posterior procesión, ya que todo el año permanecía en su Santuario, a 4Km. de Baños, siempre custodiada por los santeros que vivían en el mismo Santuario. Los últimos santeros fueron la familia Montesinos. Después la Virgen se trajo al pueblo y aquí permanece todo el año, sólo el segundo domingo de mayo es llevada al Santuario en romería, volviendo en el mismo día a Baños.