Fin dall' 805, il Giglio apparteneva ai monaci del convento di Aquas Salvias, ma i veri padroni dell'isola erano i Pisani, ce lo dimostra il contratto di pace stipulato tra la Repubblica Marinara ed il Re di Tunisi Elmiro Mommini Buaidelle, nel 1261.
"De le Isule de li pisani. Lo quale dominus Parente (nome dell'ambasciatore pisano, incaricato di contrattare questa pace) disse, e ricordò lo confine de le terre loro, le quali messe sono su questa pace, et le quali sono in terra ferma et grande, ciò este de lo Corba infine a Civita Vecchia, et l'isule le qali ano in mare, ciò est tucta l'isula di Sardegna, et castello di Castro, et l'isula di Corsiecha, et l'isula di Pianosa, et l'isula d'Elba, et l'isula di Giglio, et l'isula di MonteCristo".

"Le isole dei pisani: il Signor Parente disse e ricordò il confine delle terre che sono citate su questo trattato di pace sono vaste e sulla terraferma si estendono dal Corvo (un punto del golfo di La Spezia) fino a Civitavecchia; in mare comprendono diverse isole: la Sardegna, il castello di Castro, la Corsica, Pianosa, l'isola d'Elba, l'isola del Giglio e di Montecristo."

I pisani avevano al Giglio un distaccamento militare ed un proprio cittadino con la carica di governatore. I monaci cistercensi, gli Aldobrandeschi e gli Orsini accettavano tale situazione infatti, in quel tempo, Pisa era una delle più grandi, potenti e temute Repubbliche Marinare, la cui flotta deteneva il monopolio dei commerci con l'Oriente e, forse, i proprietari ufficiali non volevano avere noie. I fiorentini avevano firmato un'alleanza con Pisa ma questa era insofferente dell'atteggiamento di Firenze, che, per i propri commerci usava il porto senese di Talamone. I pisani cercarono, in tutti i modi di far sì che i fiorentini li attaccassero cercando, così, l'occasione di muovere guerra. Nel 1362 il primo gonfaloniere di Firenze comandò ad un famoso condottiero di attaccare un castello pisano. Iniziò così una vera guerra durante la quale anche il Giglio fu attaccato e conquistato da Pierino Grimaldi, un genovese assoldato dai fiorentini. Con l'aiuto dei terrazzani, il primo ottobre 1362, il Giglio passò sotto il dominio dei fiorentini. Da Firenze fu mandato un Podestà come castellano della Rocca e, per riconoscenza, gli abitanti furono dichiarati franchi da ogni imposta per cinque anni ed avevano l'unico obbligo di offrire ogni anno, un cero per San Giovanni Battista.
Nel 1364, pisani e fiorentini firmarono la Pace di Pescia e l' Isola del Giglio venne restituita ai pisani nonostante le lamentele dei gigliesi che preferivano rimanere sotto il dominio dei fiorentini, infatti Pisa, alla fine della sua potenza, esigeva troppe tasse.

Una lettera di Tommaso Ser Boninsegna, podestà del Giglio, conservata nell'Archivio di Stato di Firenze in data 10 settembre 1364 dice:
"ricevetti una vostra lettera ... nella quale si chonteneva ch'io debia rendere la rocha e la terra et isola di Gilgo a' pisani... io vi dicho che non ho anchora tocho nulla in però che gli uomini di questa isola mi sono venuti a dire e i sindachi del comune in persona che non intendono desser sotto il chomune di Pisa, anzi dicono di rubelarsi e nollo arebono ora affare se none ch'aspettano la risposta per loro ambasciadori che v'anno mandato a voi. La copia di questa e di altri documenti mi è stata gentilmente data dal professor Cardarelli, che qui ringrazio sentitamente".

Nel 1406, quando Pisa fu sconfitta definitivamente, anche l'isola del Giglio ritornò ai fiorentini. Come tutti gli altri popoli sottomessi, anche i gigliesi dovevano inviare a Firenze loro rappresentanti che recassero l'annuo tributo del palio nel giorno di San Giovanni. Il Repetti avverte che, nell'Archivio diplomatico fiorentino, nelle carte delle Riformagioni, esiste una specie di cronaca di una deliberazione presa dai gigliesi in una solenne adunanza tenuta nel giorno 25 di maggio 1408 nella loro chiesa parrocchiale di San Pietro, quando nominarono due sindaci da inviarli a Firenze a presentare il loro omaggio alla Signoria e un palio del valore di otto fiorini d'oro a San Giovanni Battista.
Dalle ricerche e dagli studi effettuati si capisce che al Giglio esisteva una rocca fortificata e difficile da espugnare, infatti, quando il Grimaldi si impadronì del Castello, i fiorentini si dimostrarono molto soddisfatti: per la prima volta erano riusciti a conquistare un territorio sul Mar Tirreno impadronendosi di una fortezza ritenuta inespugnabile.
Ma quando era stata costruita? Leggiamo alcuni documenti:
- Atto di donazione tra Carlo Magno e Leone III anno 805
" In nomine Dei. Salvatoris Nostri Cristi, Leo Episcopus servus servorum dei & Carolus Magnificus & praesens rex...tradimus per paginam aeream exaratam in perpetuum donamus tibi beate martyr christi Anastasi, ut pro te tuoque monasterio quod est positum ad Aquam Salviam, id est totam & integram civitatem quae ab omnibus vocantur Ansidonia, item & portum, qui vocantur Herculis: nec non montem totum qui vocantur Lilium, infra mare, inimici vero nostri in nostris manibus devenerunt, et omnes interfecti fuerunt".
- Contratto di locazione tra il Conte Aldobrandino di Sovana ed il monaco cistercense Don Elia, 20 maggio 1269
"...nec non montem totum qui vocantur Lilium, ab ipso monte versus pelagum de mare miliario centum et jus navigando et piscandi per ipso mare, item castrum Lilii existens in ipso monte".
- Invito del vescovo di Sovana all'abate delle Tre Fontane a cedere il feudo a Siena, anno 1452.
"... specialiter civitatem, quae dicitur Ansidonia...ne non et totum montem qui vocantur Lilium... et castrum Lilii existens in ipso monte... "
Nel primo documento il castello non viene nominato quindi possiamo dedurre che, al momento della donazione, al Giglio non esistesse nessuna parte fortificata. Nel 1262, invece, viene menzionato il "castrum lilis"; possiamo ipotizzare, quindi, che la rocca e le case intorno ad essa, fossero state costruite tra l'anno 805 ed il 1269.

Il Giglio rimase sotto il dominio dei fiorentini per pochi anni, infatti, nel 1447, i soldati di Alfonso d'Aragona, re di Napoli, sbarcarono sull'isola e la occuparono. I Fiorentini tentarono di chiederne la restituzione ma inutilmente: l'aragonese aveva l'intenzione di espandere i propri domini ed il Giglio poteva essere una base utilissima alle nuove conquiste. Nel 1460, il
re d'Aragona cedette l'isola del Giglio ed altre terre al nipote del Papa Pio II, Antonio Piccolomini di origine senese. Ancora oggi, alcuni cognomi tipici del Castello (Mai, Aldi...) sono di origine senese ed anche il linguaggio usato nel capoluogo ha delle influenze senesi.
I discendenti dei Piccolomini furono Signori del Giglio per quasi un secolo ma, di fatto, l'isola era abbandonata a se stessa e più volte fu attaccata e saccheggiata dai pirati.