Nel 1554, Silvia Piccolomini e suo marito Don Indico da Capestrano vendettero, per 32.162 ducati napoletani, l'isola del Giglio ed altri possedimenti, a donna Eleonora di Toledo, moglie di Cosimo I dei Medici. Alla morte di Donna Eleonora quei territori furono incorporati al Granducato di Toscana.
L'isola, a causa delle incursioni piratesche, era in misere condizioni; Cosimo, per attivarne il commercio e favorire l'agricoltura, vi inviò una colonia di greci e li aiutò con denaro e donazioni per invogliarli a stabilirvisi. Durante questo periodo, il Granducato ed il Giglio furono attaccati ancora dai pirati mussulmani, allora Cosimo I stipulò un trattato con Filippo II, Re di Spagna; le flotte delle due potenze avrebbero, insieme, dato la caccia ai barbareschi e ciò avrebbe scoraggiato i mussulmani.
Francesco I, successore di Cosimo, aprì al Giglio una miniera di ferro, infatti il metallo scavato sembrava particolarmente adatto ad essere ridotto in acciaio. Gli scavi fatti alla vena, dimostrano che quella miniera fu abbandonata poco dopo la sua apertura perché il filone di ferro era soltanto superficiale.
Ferdinando I, nel 1587, concesse ai gigliesi delle facilitazioni per lo scavo ed il trasporto del granito che, fin dall'epoca romana, veniva estratto ed era molto richiesto ed apprezzato per la sua consistenza e per il colore. Durante il restauro del Duomo di Pisa, danneggiato da un incendio nel 1595, furonocommissionate ai gigliesi diverse colonne alte circa dieci metri. Altre colonne si possono ammirare in diverse chiese e palazzi italiani. L'attività di estrazione del granito proseguì sino al 1955 quando fu chiusa l'ultima cava: la cava dell'Arenella. Tutti i Granduchi della casata dei Medici che si susseguirono, ebbero sempre grande cura dell'Isola del Giglio; ce lo dimostrano i numerosi scritti (relazioni, petizioni, suppliche, rimostranze ... ) conservati nell'Archivio di Stato di Firenze. Il Castello, la Fortezza, la torre del Porto e del Lazzaretto furono restaurate. Cosimo III, nel 1699, fece costruire al Campese, una nuova torre per potenziare il sistema difensivo dell'isola.