C'est en 1208 que l'on trouve pour la première fois un texte où il est fait mention de la forteresse de Bellegarde, le Castrum, sous le nom de « Bellae Gardae ». Si l'on remonte, étymologiquement, Gardae venant de garda ou warda germanique voulant dire 'tour de garde' et Bellae, venant soit de bonus, 'bon', soit de bellum 'guerre'.  Dans les deux cas c'est un lieu de défense qui domine la ville.

A cet endroit perché se situait tout un ensemble de fortifications, dont ne subsistent aujourd'hui, que cette tour donjon rectangulaire et quelques vestiges, sur les pentes alentours.

Cette tour domine la ville de Bellegarde, dont elle a été l'élément fédérateur. Comme à chaque fois qu'une place fortifiée se construit, la population a tendance à venir à proximité, pour être protégée.

C'est ainsi que les hameaux de saint Jean et Broussan, vont décliner au profit de Bellegarde.

Des événements marquants, on peut en retenir deux : en 1216 quand Simon de Montfort l'assiègera et en 1570 lorsque la tour fût reprise aux huguenots par le maréchal de Damville et le vicomte de Joyeuse, qui les fit brûler.

La tour de la Madone, comme l’appellent les habitants de Bellegarde, en raison de l'installation, à son sommet, en 1875, de la statue de la Vierge fait parti, avec le Pont Aerarius des emblèmes de la cité. En 2009 le logo de la commune associera le Pont et Notre Dame de Bellegarde.

Un vaste chantier de restauration du Castrum et d'aménagement de ses abords et accès est en cours.