Depuis toute la vallée on ne vois que lui, fier, dressé sur son éperon rocheux. A 600 mètres d'altitude il domine, depuis le XIIème siècle, le village d'Aujac ainsi que les hameaux de Bedouces, du Fau et d'Aujaguet. Lieu de protection de la haute vallée de la Cèze autrement appelée la "Cezarencha" depuis le XIIIème siècle, il fait partie de l'ensemble des fortifications qui jalonnaient cet itinéraire privilégié. De tous les châteaux de la vallée, c'est certainement celui qui est le mieux conservé. Sa structure a évoluée au fil du temps. Sa première phase de construction date de la fin du XIIème siècle avec un bâtiment double : donjon et aula, première barre de défense.
C'est au XIVème siècle que sera construite la seconde partie avec un bâtiment résidentiel appelé le "manoir". C'est à cette même période que l'on voit apparaître les bâtiments du hameau du Cheylard dont restent aujourd'hui la partie rénovée avec le colombier, l'étable, la chapelle et la clède ou séchoir à châtaignes.
Au XVème siècle une nouvelle phase de construction consiste en une surélévation de certains bâtiments existants et une disposition de défense renforcée avec des chemins de ronde sur machicoulis et des canonnières pour armes à feu. Une tour est également construite avec escalier à vis qui permet une meilleure circulation entre les différentes parties du château. Par contre, style renaissance, on voit apparaître des fenêtres à croisée à la place des anciennes ouvertures étroites.
C'est à la fin du XVIème siècle que sera érigée la tour ronde, marque du rang acquis par l'accession au titre de baronnie.