Yeste conserva un espléndido patrimonio cultural. En el centro del casco urbano podemos divisar desde todas las partes del pueblo su imponente Castillo, data del s. XIII, levantado sobre una anterior construcción musulmana. El estilo Gótico-Renacentista.
Situado en el centro de la población, es una antigua fortaleza islámica, ampliada y modificada en los siglos posteriores. En la segunda mitad del siglo XIV fue reformada para reforzar sus elementos defensivos exteriores y la Torre del Homenaje, en cuya puerta de acceso se sitúan los escudos en piedra de la Orden de Santiago y de la familia Figueroa. En los primeros años del siglo XVI el comendador D. Rodrigo Manrique adapto la fortaleza a formas de vida mas cortesanas, dotándola de un Patio de Armas columnado y de amplias dependencias de las que se conservan algunos corredores interiores y una bella ventana de estilo gótico que presidia el salón principal del castillo.
Sirvió de residencia de los comendadores de la Orden de Santiago durante l siglos XIII al XVI, destacando entre ellos algunas familias de los principales linajes de la nobleza castellana. De todos ellos destaca la familia Manrique, que mantuvo el control de la encomienda durante casi todo el siglo XV.
En la actualidad el Patio de Armas del Castillo se utiliza para realizar actividades culturales y de ocio durante todo el año: Feria de Tradiciones Populares, Jornadas Históricas, bodas civiles, exposiciones, etc.
La entrada al castillo puede adquirirse en la Oficina de Turismo de Yeste por un precio de 3€. Abierto de lunes a domingo, de 10:30 a 14:00 y de 17:00 a 19:30 horas. Pueden solicitarse visitas guiadas al castillo, iglesia y convento para grupos y particulares, de lunes a domingo, en el teléfono 967 43 11 54. Coste visita guiada al Castillo 4 € (entrada del castillo incluido).