Au XIIème siècle, Cardaillac fut une très importante ville fortifiée, comme en témoignent ses 2 tours et ses remparts; un sentier passe au pied des murailles construites sur la roche. On y voit des "latrines" en encorbellement. 
Un peu plus loin, la tour ronde, aujourdh'ui transformée en habitation, date du XVème siècle. 
Un dédale de chemins bucoliques et de petites ruelles longe les jardins potagers qui bordent le village.