- Oblast dnešního Gradca byla osídlena už v době bronzové a železné.
- V dobách starého Říma sloužila osada jako vojenská základna Civitas Biston a představovala jedno z center římské kolonie Narona.
- Ve středověku se městečko nazývalo Lapčan (Labinac).
- Teprve v roce 1649 se poprvé objevil název Gradac, který vznikl podle pevnosti, která se nacházela na malém kopci nad osadou.
- V 17. století spadal Gradac pod vládu Benátek a odolával náporům Turků.
- Během 2. světové války bylo 95% městečka vypáleno okupanty.
- První hotel zprovoznili v Gradci v roce 1919. K největšímu rozkvětu cestovního ruchu došlo v šedesátých letech.