Castres-en-Albigenses era una dependencia del vizconde de Albi. Los vizcondes de Albi otorgaron a Castres una carta de ciudad estableciendo una comuna con la ciudad, encabezada por cónsules. Durante la Cruzada contra los Albigenses, la ciudad se rindió rápidamente a Simon de Montfort, quien se la entregó a su hermano Guy de Montfort.
1211-1228: Guy de Montfort († 1228), señor de Ferté-Allais et de Bréthecourt, hijo Simón III de Montfort, señor de Montfort y d'Amicie de Beaumont. [1]
1228-1240: Felipe I de Montfort († 1270), señor de Castres, y luego señor de Tiro y Toron, hijo de Guy de Montfort y d'Helvis d'Ibelin. [2]
1240-1270: Felipe II de Montfort († 1270), señor de Castres, hijo de Felipe de Montfort y d'Éléonore de Courtenay.
1370-1300: Juan de Montfort († 1300), señor de Castres, conde de Squillace, hijo de Felipe II de Montfort y Juana de Levis-Mirepoix.
1338-1354: Bouchard VI de Vendôme († 1354), conde de Vendôme y señor de Castres, hijo de Juan V de Vendôme.