Le château de Bertholène, d’époque médiévale, remonte au moins au XIIIe siècle selon les archives. De par sa situation, il eut une position stratégique importante . L’enceinte, haute de plusieurs mètres, pourvue de nombreux éléments de défense, ainsi qu’un fossé témoignent de sa vocation militaire.

La seigneurie qui appartint aux XIV et XVe siècles à la famille Bringuier, relevait à la fois des barons de Sévérac et des comtes de Rodez. Elle passa au milieu du XVIe siècle a ux Hèbles, puis à la famille de la Faramondie, aux Roquefeuil et enfin en 1697 aux Vezins.
Le 2 juin 1569, le château fut assiégé, canonné, investi et mis à sac par les troupes catholiques et en partie détruit par un incendie. Il fut par la suite reconstruit et remanié : la façade principale est d’époque plus tardive (XVIIe siècle).
En 1839, Edouard Maisonabe, avocat à Rodez, acheta le château. Dans les dépendances, furent aménagés une église et un presbytère ; Bertholène devient paroisse en 1872 Plus tard la famille Maisonabe céda le château à l’Eglise diocésaine, qui en fit don à la commune en 1992.
Sa restauration engagée par la municipalité se poursuit depuis 1996, période à laquelle naissait l’Association pour la sauvegarde du château. Parallèlement, depuis 1997, des sondages archéologiques ont eu lieu sur le site.
A ce jour, le dégagement par les archéologues (participation de Jean Arnal et Jean Pujol) en août 1999 du pont levis et des douves a permis la découverte d’un mobilier, la plus importante jamais effectuée en Rouergue pour les XVIIe et XVIIIe siècles : de très nombreuses céramiques, pièces de monnaie, objets de la vie quotidienne, de couture, de piété, de toilette, verrerie, une matrice de sceau en bronze (X IVe siècle). Tous ces objets sont visibles au Musée Archéologique de Montrozier.
Le domaine des Bourines (situé au Nord Est de la commune), les églises St-Julien à Ayrinhac, St-Maurice d’Anglars et St Roch à Banc font partie également du patrimoine exceptionnel de Bertholène.