II Giglio rimase sotto il dominio dei fiorentini per pochi anni, infatti, nel 1447, i soldati di Alfonso d'Àragona, rè di Napoli, sbarcarono sull'isola e la occuparono. I Fiorentini tentarono di chiederne la restituzione ma inutil-
mente: l'aragonese aveva l'intenzione di espandere i propri domini ed il Giglio poteva essere una base utilissima alle nuove conquiste. Nel 1460, il rè d'Àragona cedette l'isola del Giglio ed altre terre al nipote del Papa Pio II, Antonio Piccolomini di origine senese. Ancora oggi, alcuni cognomi tipici del Castello (Mai, Aldi ...) sono di origine senese ed anche il linguaggio usato nel capoluogo ha delle influenze senesi.
I discendenti dei Piccolomini furono Signori del Giglio per quasi un secolo ma, di fatto, l'isola era abbandonata a se stessa e più volte fu attaccata e saccheggiata dai pirati.