Particulièrement impressionnant sur son éperon rocheux depuis la Vallée de la Creuse, le château de Boussac a une histoire mouvementée. Construit au XIIème siècle, ruiné lors de la Guerre de Cent Ans, rebâti, fortifié puis embelli. Avant d'être mis à mal lors de la Révolution. George Sand y a séjourné à plusieurs reprises, y a situé une partie du roman champêtre Jeanne, et y a découvert les célèbres tapisseries de la Dame à la Licorne.
Devenu sous-préfecture, gendarmerie, annexe du champ de foire où auraient été parqués les cochons, le château a été sauvé de la ruine en 1965 et restauré avec un gout rare par ses actuels propriétaires.