Le 5 août 1808, l’empereur Napoléon 1er, se rend sur l’île d’Aix pour une visite de routine décide de la construction d’un fort indestructible et imprenable et qui rend difficile tout débarquement, afin de s’en assurer, il réalise lui-même les premiers dessins. Il opte pour la partie la plus haute de l’île, cela explique la raison de son premier nom fort de la sommité. La construction du fort commence en 1810 pour s’achever en 1834.
La construction durera 24 ans, débuta en 1810 sous les directives d’un ingénieur nommée Thuillier. Il entreprit de construire un fort carré, doté de bastion à chacune de ses pointes. Les bastions d’une taille de 90 M de côtés et 7 mètres de haut, accompagnés d’une tour centrale de 30 mètres de côté. Il fut par la suite construit une tour modèle 1. [ces tours du nom de tour empire ou tour Napoléon est une construction standardisée. Napoléon, voulant remédier à la désorganisation des défenses côtière, exige la construction de défenses réunissant plusieurs éléments important donc les magasins à poudre, magasin de vivres et logement des canonniers.]