La tour - vestige du donjon d'une première forteresse daté de 1185 - porte le nom du roi de France qui ordonna sa construction en 1293. Le début des travaux commencèrent en 1300.
Bâtie sur un rocher au bord du Rhône, elle contrôlait l'accès au pont d'Avignon .Au début de la construction elle ne se composait que de deux étages. Un troisième niveau fut construit vers 1360
Graphitis du premier étage