La vallée du Lot et ses habitants subirent de nombreuses attaques, notamment des Wisigoths au Ve siècle et des Normands au IXe. Puis au début du 12ème siècle les guerres cathares, poursuivies par Simon de Montfort, ravagent la région aboutissant à la prise de Penne d'Agenais toute proche et à l'attaque de Cahors. En 1324, lorsque la guerre de Cent Ans est déclenchée par la destruction de la bastide de Saint-Sardos, également à proximité, les conditions continuent d'être incertaines.

C'est la toile de fond de la création, par Foulques de Lustrac, du moulin fortifié sur la rivière en 1296 puis de la construction du château attenant.

Autour de Lustrac