Dès le XIIIe siècle, s'est installé un hameau appelé Castelmoron, regroupé autour d'un château, situé au bord d'un méandre de la rivière. Le village ne s'est pas transformé en Bastide, comme cela s'est produit ailleurs.

Au début de la guerre de Cent Ans, la ville est devenue anglaise, sous le contrôle du chevalier de Caumont, dont les descendants ont continué à jouer un rôle de premier plan pendant les trois siècles suivants. Les fortifications de la ville ont été démolies lors de son retour à la France en 1435.

Centre protestant, la ville est touchée lorsque l'accommodement entre les religions est révoqué en 1685 et qu'un certain nombre de citoyens sont contraints de partir. L'église protestante fut démolie en 1693, mais cent ans plus tard, Castelmoron resta indemne de la Révolution.

Le commerce sur le fleuve a atteint son apogée au cours du 18ème siècle, avec Castelmoron un foyer pour l'exportation de vin et de farine vers Bordeaux et donc l'Europe du Nord, la Louisiane et les Antilles. De nombreuses améliorations ont été apportées pour faciliter la navigation et le commerce sur le fleuve au 19ème siècle, y compris un pont suspendu en 1845 et un quai reconstruit en 1875. Cependant, l'établissement d'une ligne de chemin de fer a sonné le glas du commerce fluvial et le fleuve a été retiré. de la navigation en 1923.

La position du pont de 1845 et ses voies d'accès ont entraîné la reconstruction de l'église existante du XIIIe siècle dans le cadre d'un changement radical de la configuration de l'ancienne ville médiévale, perpendiculaire au fleuve plutôt qu'à côté. L'ancien château a été transformé par Madame Solar en 1871, selon les souhaits de son défunt mari, inspirés par des visions de l'Espagne mauresque - l'Alhambra et Cordoue. Le «château solaire» qui en résulta devint l'hôtel de ville en 1902.

Le pont de 1845 a été reconstruit, en béton, selon les plans des ingénieurs danois Christiani et Neilsen en 1933.