II primo documento scritto sulla storia del Giglio lo troviamo con Giulio Cesare, che rammenta l'isola nel De bello civili, il suo diario di guerra scritto per ricordare la lotta civile contro Pompeo. In questo pur breve accenno Cesare ci fa sapere che Lucio Domizio Enobarbo, che parteggiava per Pompeo, armò sette navi leggere e veleggiò verso Marsiglia.
Gli equipaggi di queste sette navi erano appunto del Giglio, dove Lucio Domizio possedeva schiavi, liberi e coloni. Dal breve accenno di Cesare si ricavano conclusioni importanti: prima di tutto apprendiamo che l'isola apparteneva alla famiglia degli Enobarbi, una delle più eminenti di Roma; inoltre, il fatto che Domizio potè equipaggiare totalmente sette navi, ci dice che il Giglio doveva avere discreta popolazione ed una certa importanza, che deriva forse dalla presenza di così illustri signori. Ed è proprio Lucio Domizio Enobarbo il proprietario della grandiosa villa patrizia che sorgeva nelle vicinanze del porto, dominante la cala del Saraceno e il mare. Nella cala del Saraceno ancora oggi si possono vedere sott'acqua dei muri che, da poca profondità, si alzano fino al livello del mare. Anche questa costruzione era un altro elemento della villa: si trattava infatti della "cetaria", ossia di quei vivai di pesci che i ricchi romani, secondo la moda del tempo, erano soliti tenere presso le loro ville marine. Purtroppo oggi della villa in se stessa rimane ben poco, ma fino a pochi decenni or sono era possibile vedere camere sotterranee, lunghi corridoi comunicanti col mare, molti muri di "opus reticulatum" (muratura con pietre a forma cubica leggermente piramidata, disposte in modo da formare un paramento murario a forma di reticolato), resti di porfido, agata, diaspri, serpentini e marmi verdi, rossi, gialli, lucenti come specchi, che riuscivano a dare l'idea di ciò che doveva essere la villa con grandiosità di portici, di terrazze, con magnificenza di marmi svariati e preziosi e con meravigliosi pavimenti a mosaico. Il mosaico del pavimento n. 1 documenta un tappeto di stelle a quattro punte in tessere nere distese su fondo bianco incorniciato da un'ampia bordura bianca, una doppia treccia, una fascia bianca e una nera. Il secondo pavimento a mosaico rappresenta, in nero su fondo bianco, un reticolato di quadrati, con lati formati da quadratini tangenti agli angoli, circoscritti ad un quadrato lineare, contenente un quadrato con lati concavi. La semplice bordura è formata da un'ampia fascia nera seguita da due bande di diversa larghezza, di colore bianco e nero. A sale di maggiore sontuosità o di rappresentanza dovevano appartenere pavimenti in "opus sectile": il primo con lastrine in marmo bianco, giallo antico e porfido verde, disposte secondo lo schema della stella a otto punte; il secondo è una raffinata composizione realizzata in marmo bianco, pietra nera non identificabile, porfido rosso, porfido verde, giallo antico, formata da cerchi con quadrati inscritti alternati a cerchi con foglie lanceolate, attorno ad un quadrato con lati concavi e croce decussata. Nel primo rilievo affrontato nel 1948 dalla Soprintendenza sono evidenziati i due corpi principali della villa distinti su due livelli: il nucleo superiore, probabilmente la "pars" residenziale, in cui sono distribuiti i mosaici e le strutture, che sono andate perse, e la terrazza panoramica, a livello inferiore, caratterizzata da una poderosa struttura semicircolare, rinforzata da una muratura intera continua a linea spezzata, oggi inglobata in un albergo. Studi archeologici su alcuni tegoli trovati presso la villa hanno dimostrato che questa è stata costruita pochi anni prima dell'inizio dell'era cristiana e ampliata alla fine del primo secolo dopo Cristo, periodo in cui si iniziava la costruzione della villa della vicina Isola di Giannutri. Nei pressi della villa sono stati ritrovati, inoltre, pezzi di tubo di piombo che conducevano l'acqua dai vicini colli, medaglie romane antiche, di rame, d'argento ed alcune d'oro, un piccolo bue di bronzo, ossa umane contenute in ziri di terracotta sotterrati, un grosso capitello di stile corinzio che ora, rovesciato, fa da base alla pila dell'acqua santa nella chiesa parrocchiale di Giglio Castello. Numerosissimi sono comunque i reperti archeologici del periodo romano rinvenuti al Giglio: antiche costruzioni, che testimoniano l'effettiva esistenza della comunità di coloni dei Domizi, e carcasse di antiche navi romane, rinvenute negli ultimi anni presso gli scogli delle Scole, piene di anfore che dovevano servire al trasporto dell'olio e del vino. Ciò dimostra una prosperosa attività commerciale fra la piccola comunità del Giglio e la capitale dell'Impero. I romani, inoltre, lavoravano il granito che veniva adoperato per ornare palazzi e ville. I vecchi scalpellini raccontano di aver trovato nelle cave di granito dei fori tutti allineati. I romani immettevano a forza nel foro dei cunei di legno, quindi li bagnavano e, a causa del loro ingrossamento, avveniva la frattura del granito usato per ottenere le colonne grigiastre numerose a Roma.