Au XIIème siècle, les hérétiques « Henriciens » en firent leur repaire avant d'être assiégé et délogé par l'évêque de Périgueux, Jean d'Assida. Gavaudun est reconstruit au XIIIème siècle sur les fondations du premier château. Il fût l'un des derniers bastions français lors de la guerre de Cent Ans.
Possédé par de grandes familles du Sud Ouest, la forteresse bénéficia du talent des meilleurs architectes et d'un système défensif précurseur pour son époque.
Son architecture audacieuse avec une entrée taillée dans le calcaire, des courtines à flancs de falaises, un donjon de 6 étages culminant à 70 mètres de hauteur, le tout dominant une vallée classée site naturel, en font un site puissamment pittoresque.