Osídlení je staré, sahá do raného středověku. Nejstarší dochovanou stavbou je románský kostel sv. Mikuláše (Sveti Nikola). Masivní strážní věž Kula (též Uskok-kula), postavená na obranu proti pirátským nájezdům uskoků ze Senje, pochází ze 15. stol. Po provedené obnově je v ní umístěna stálá expozice věnovaná staré námořní tradici Velkého Lošinje, součást Lošinjského muzea. V barokním farním kostele sv. Antonína (Sveti Antun Opat) jsou obrazy italských umělců, např. B. Vivariniho a bohatý inventář.
Celkově má městečko Veli Lošinj převážně barokní a klasicistní ráz. Honosné vily si tu postavili lošinjští kapitáni a majitelé lodí. V 19. stol. je následovala rakouská šlechta, mezi jinými i výše zmíněný arcivévoda Karel Štěpán.
