Le site féodal du château de Xaintrailles est connu depuis le XIIème siècle. Au XVème siècle Jean Poton de Xaintrailles, maréchal de France, gouverneur militaire d'Aquitaine, ancien compagnon d'armes de Jeanne d'Arc, fait construire le château actuel sur les bases de celui de ses ancêtres en conservant le donjon central.
Toujours habité depuis cette époque, le château et son site ont subi de nombreuses transformations pour s'adapter aux besoins liés à chaque siècle. Les fossés qui l'entouraient ont été comblés et une cour d'entrée créée vers 1750. Il est dans la même famille depuis 1868, qui s'attache à en préserver les traditions.
Classé Monument Historique depuis 1840, le site se visite librement, avec panneaux commentaires. Le dimanche des Journées du Patrimoine des visites guidées de l'intérieur sont organisées.