V Ražancu je je bilo življenje prisotno že v paleolitiku (pred 100.000 leti), kar je razvidno iz materialnih ostankov, ki so še danes ohranjeni v Arheološkem muzeju.
Stara srednjeveška vas Ražanac je bila nastanjena okoli cerkve sv. Andrije in to je danes komaj en kilometer oddaljeno od Ražanca. Šele leta 1507 se zaradi obrambe od Turkov v Ražancu zgradi utrdba katere ostanki se še danes vidijo ob obali. Okrog utrdbe so se začele graditi hiše in cerkev iz česa se je razvil današnji Ražanac.
Cerkev Gospa od Rožarija je sezidana v 16. stoletju. Turki so jo večkrat zrušili. Njeno notranjost danes krasi oltar v baroknem stilu.
Ražanac je znan po svojem kolu, ki je uvrščeno v svetovno kulturno dediščino.