Senj pod názvem Senia byl již ve 4. stol př. Kr. významným střediskem ilyrského kmene Liburnů, od přelomu letopočtu důležitým římským opěrným bodem strategického významu. Po zničení Avary další rozkvět až za chorvatských vládců. Pak byl ve vlastnictví knížecího rodu Frankopanů (13. - 15. stol.), uherských králů, od 16. stol. habsburský.
Habsburkové tu na obranu před Turky začali usazovat utečence z Turky obsazeného vnitrozemí, tzv. uskoky (uskok = utečenec) - tematický článek: Uskoci - hrdinové i piráti. Ti pak spolu s místním obyvatelstvem vedli neustálý boj s Turky i s Benátčany. Přepadali turecké opěrné body, benátské osady a galéry, ba odvažovali se za kořistí až do samotných Benátek. Benátčané proto naléhali na Rakousko, aby proti uskokům zakročilo. To však bylo proti rakouským politickým zájmům, takže situace dospěla až k válečnému konfliktu mezi Rakouskem a Benátskou republikou. Podle nakonec uzavřeného míru museli Rakušané uskoky násilím přestěhovat daleko do vnitrozemí a spálit jejich lodě.
Likvidace uskoků přinesla Senji naprostý úpadek. Prvním krokem k opětovnému vzkříšení města bylo vybudování tzv. Jozefínské silnice.
V 15. stol. bylo město významným střediskem hlaholského písemnictví. Na přelomu 15. a 16. stol. byla zde založena významná tiskárna (především hlaholských knih).
 Senj, opevnění |
Uskocká tradice a památky na uskocké období žijí v Senji dodnes. Jádro města si zachovalo stav z doby největší uskocké slávy, ze 16. stol., a to jak ve struktuře, tak i v zástavbě. Bohužel není staré město v takovém stavu, jaký je běžný na pobřeží v jiných historicky cenných městech. Přispěly k tomu i obrovské škody, které město utrpělo za druhé světové války. V posledních letech se však památky postupně rekonstruují a revitalizují.
Zachovala se tu značná část městského opevnění (13. - 17. stol.) s obrannými věžemi a branami (především Velká brána - Velika vrata), dále krásné barokní náměstí Cilnica se starým frankopanským zámkem, několikrát přestavovaným. Na náměstí Cimiter stojí nejstarší stavba města románská mariánská katedrály (Sveta Marija).V bývalém biskupském paláci (Biskupija) je velmi cenná sbírka sakrálních předmětů - Stálá výstava sakrálního dědictví (Stalna izložba sakralne baštine).
Je tu řada pozoruhodných paláců: Vukasovićů (dnes Městské muzeum - Gradski muzej s hodnotnými exponáty mořeplaveckými, etnografickými aj.), Ferajna, Posedarićů, Daničićů a další.
Středověká tiskárna z 15. stol., dnes muzeum.
Kostel P. Marie na mysu (Sveta Marija od Arta) zvaný též Námořnický (Mornarska crkva) je ze 16. - 18. stol.
Mimo hradby, za Velkou branou, je na dominantním místě mohutný hrad Nehaj (volně přeloženo: Neboj se!) byl postaven uskockým kapitánem Lenkovićem k obraně Senje v renesančním slohu ve druhé polovině 16. stol. na obranu města před Turky.
Turistickou částí Senje je Kalić na jižní straně, kde jsou soustředěny možnosti ubytování v soukromí. V posledních letech byla upravena pro možnosti koupání část přilehlého pobřeží.
