Penne, située sur une colline surplombant le Lot (où se trouve un village jumeau, Port de Penne) est aujourd'hui paisible et d'apparence magnifiquement ancienne. Ce n'était pas toujours le cas, et au fil des siècles, le village a enduré la cruauté et les épreuves.

À la fin du 12e siècle, Richard Cœur de Lion (the Lionheart), le roi d'Angleterre, créa Penne comme un puissant emplacement défensif et stratégique. Richard a passé la majeure partie de sa vie en Aquitaine, bien que né à Oxford. Dans une période de temps relativement courte, les guerres cathares ont enveloppé le sud de la France et Penne, assiégée, a été forcée de capituler devant les forces catholiques. D'autres troubles et effusions de sang se sont produits pendant la guerre de Cent Ans du XIVe siècle, Penne étant parfois détenue par les Anglais (Plantagenet) et parfois par les Français. La ville fut incendiée en 1373.

Une fois de plus, au XVIe siècle, Penne subit les conséquences d'une guerre de religion lorsque, en tant qu'établissement protestant, elle fut attaquée et perdue au profit de l'armée catholique sous Blaise de Montluc en 1562. De nombreux habitants - défenseurs - furent tués.

À cette époque, la région subissait également des épisodes annuels de décès généralisés dus à la peste (la deuxième pandémie de peste noire). En 1653, les villageois cherchèrent un soulagement divin par la reconstruction de leur église Notre-Dame de Peyragude et l'obligation d'y processionner chaque 15 août.

Même en dépit de ces catastrophes, Penne a progressivement prospéré et cela s'est renforcé dans la période post-révolutionnaire. En 1800, la ville comptait 4 000 habitants et son nom a été changé en Penne-d'Agenais en 1919. Plus récemment, Penne s'est revitalisée en tant que centre de tourisme patrimonial et d'effort artistique.