Původně se městečko nazývalo Bag. Své dnešní jméno dostal Karlobag podle habsburského velkovévody Karla, který je dal obnovit poté, kdy je úplně v r. 1525 vypálili Turci. I další staletí městečka byla poznamenána válečnými událostmi a strádáním obyvatel, ať již šlo o střetnutí Rakušanů s Turky nebo Benátčany. O další rozvoj Karlobagu se zasloužil další Habsburk, císař Karel VI., který založil přístav a dal zpracovat projekty silnic. Karlobag však zažil i bombardování za 2.sv.války, kdy např. z farního kostela sv.Karla Boromejského zbyla jen izolovaně stojící zvonice.
 Karlobag |
Památek je díky válečné minulosti jen velmi málo, a to kapucínský klášter s kostelem sv.Josefa (Sv.Josip) ze zač.18.stol. (malá sbírka cenných předmětů a knihovna), zbytky středověkého hradu nad městečkem, jižně od Karlobagu zříceniny Vidov gradu a kostela sv.Víta.
