C’est au XII° siècle et l’acte dit de la « bulle d’or » (1161) que s’organise le Gévaudan féodal sous l’autorité de l’évêque de Mende et autour de huit baronnies.

La baronnie de Peyre est l’une des plus importantes, dominée par le château féodal du roc de Peyre.

C’est au terme des guerres de religion que le vieux château est démantelé au profit de La Baume.

Antoine de Grolée et son épouse Marguerite de Soulatges font construire vers 1630 la première partie du château dans un style un peu austère.

Leur cinquième fils César hérite de la Baronnie et de ses nombreuses dettes.

Son intelligence et son énergie lui permettent de reconstruire sa fortune et de devenir successivement Bailli du Gévaudan puis lieutenant-général du Roy pour le Languedoc.

Il entreprend de finir la décoration du château de son père puis après avoir été un des acteurs de la guerre des Camisards, de construire la deuxième partie du bâtiment qui sera terminée en 1714 avant sa mort en 1720.

Délaissé durant la période de la Révolution et de l’Empire, La Baume a été achetée en 1850 par le sénateur Mayran pour sa fille, la comtesse de Las Cases.

Quatre générations se sont succédées depuis et participent à la préservation de ce monument et à l’animation du plateau de l’Aubrac.