L'ile Madame a reçu ce drôle de nom à l'époque de Louis XIV. En effet, parmi la cour, le Roi avait une préférée. Il s'agissait d'Anne de Roen que l'on avait coutume d'appeler Madame. Il semble donc que Louis XIV ait honoré sa favorite en donnant son nom à une petite île près de Rochefort : l'île Madame.
Pour justifier ce curieux nom, on a longtemps affirmé que l'île Madame appartenait à l'abbaye Notre Dame de Saintes.
Pendant la Révolution, on changea le nom de l'île en île Citoyenne. Mais, peu de temps après la Révolution, on lui rendit son nom d'île Madame.