Josip Sernec, brat Ane Sernec in Janka Serneca st., se je rodil 4. marca 1844 v Slovenski Bistrici v znani družini Sernec mlinarju Janezu in Ivani, rojeni Reybauer, ki sta se v Slovensko Bistrico priselila iz Malečnika.
Po dveh razredih realke in gimnazije v Mariboru je od leta 1865−69 študiral pravo na Dunaju (Avstrija), kjer se je seznanil s pisateljem Josipom Jurčičem. Kot odvetniški kandidat je delal na različnih krajih od Dunaja do Brežic. Nekajkrat je za krajše obdobje delal tudi v pisarni brata Janka. Leta 1875 se je preselil v Celje, se poročil in naslednje leto odprl svojo odvetniško pisarno, kjer je imel večkrat tudi do 16 nameščencev.
Močan vpliv nanj je imel njegov brat Janko, ki ga je tudi uvedel v slovensko narodno in politično življenje. Kot član pevskega zbora v Mariborski čitalnici je kasneje prerasel v pevovodjo Celjske Čitalnice in bil od leta 1877 pa vse do svoje smrti njen predsednik.
Na njegovo pobudo je celjska posojilnica v Celju zgradila Narodni dom za vsa celjska in okoliška narodna društva. Še posebej se je zavzemal za slovensko sodstvo in slovensko ljudsko šolstvo. Zaradi svojih slovenskih nazorov je bil večkrat pod pritiskom disciplinskih preiskav. Celjski Nemci so mu neprestano nagajali zaradi njegovega prosvetiteljskega dela. Kljub vsemu je bil dolga leta (1884−1902) poslanec v deželnem zboru, vmes pa tudi devet let namestnik štajerskega deželnega glavarja. Še posebne zasluge je imel pri ustanovitvi Celjske posojilnice, ki je kmalu prerasla v mogočen denarni zavod, in Južnoštajerske hranilnice; obe sta močno pripomogli pri utrjevanju slovenske narodne zavesti, ker Slovenci niso več najemali kreditov pri Nemcih in se na ta način otresali njihove odvisnosti.
Josip Sernec je umrl 18. septembra 1925 v Ljubljani.