Ce palais est la propriétés du pape Clément VI entre 1342 et et 1352. natif du limousin puis de son frère.
Au XVIIIe siècle propriété adossée a la Montagne des Mourges appartient
au marquis de Montagène puis des sœurs de Sainte Elisabeth.