Jméno Elafitské ostrovy se prvně vyskytuje u římského přírodovědce Plinia staršího v jeho hlavním díle "Historia naturalis". Název je řeckého původu a je odvozen od řeckého slova elafos, což znamená jelen. Jde tedy o Jelení ostrovy. Zřejmě se jeleni na ostrovech vyskytovali, ale to už patří dávné minulosti.
Elafitské ostrovy patřily po staletí k Dubrovnické republice, pro kterou měly velký význam, neboť právě z těchto ostrovů kontrolovala jak plavbu na otevřeném moři, tak i plavbu pobřežní.