Desde la Antigüedad, en Castres había una presencia romana, pero, sobre todo, fue en la Edad Media cuando la ciudad comenzó a tomar forma. Las casas de colores, vinculadas con la actividad textil (antiguas viviendas y talleres de curtidores, tejedores o tintoreros) son una bonita prueba que se conserva hoy en día.
Castres, construida a lo largo del río Agout, se desarrolla alrededor de la Abadía Saint-Benoit, que posteriormente se convirtió en Palacio Episcopal, antes de pasar a ser Ayuntamiento/Museo Goya. A lo largo de la historia Castres no ha dejado de recomponerse.