Leta 1322, ko so izumrli Vovbrški grofje, nasledijo posesti gospodje Žovneški iz Savinjske doline. Skoraj celo naslednje stoletje in pol so bili med najpomembnejšimi rodbinami v Srednji Evropi. Od leta 1341, ko jih je nemški cesar Ludvik Bavarski povzdignil v grofovski stan, so se ponašali z naslovom grofje Celjski.
Svoje bogastvo in vpliv so nenehno povečevali s premišljenimi ženitvami in premeteno politiko, s tem pa sta se posledično večala tudi njihova vpliv in oblast. Tako so leta 1397 pridobili naslov zagorskih knezov, leta 1407 hrvaških, slavonskih in dalmatinskih banov, leta 1430 ogrskih baronov in leta 1437 tudi naslov državnih knezov.
Svoje hčerke so se poročali v pomembne vladarske rodbine: v Bosni s Kotromanići, na Poljskem s Piasti in Jageloni in v Srbiji z Brankovići. Dosegli so tudi, da se je hči grofa Hermana II., Barbara Celjska, omožila z nemškim cesarjem ter ogrskim in češkim kraljem Sigismundom Luksemburškim.
Vojskovanje za Habsburžane v 14. stoletju jim je kot plačilo prineslo v zastavo pomembne deželnoknežje gradove in urbane naselbine, med njimi leta 1368 tudi Slovensko Bistrico.
Kljub dejstvu, da so bili po statusu formalno povsem izenačeni s Habsburžani, jim ti nikoli niso priznavali enakosti. Zato je leta 1443 prišlo do habsburško-celjske vojne, po kateri so morali Habsburžani 16. avgusta 1443 v Dunajskem Novem mestu s Celjani podpisati premirje ter hkrati tudi medsebojno dedno pogodbo. Med to vojno je Slovenska Bistrica trpela vojne grozote, saj je mesto večkrat prehajalo pod nadzor ene ali druge rodbine.
Celjani so v vojni povečali ozemlje, a jim ni uspelo strateško povezati svojih ozemelj v celoto; pas Celovec−Ljubljana−Novo mesto je ostal v posesti Habsburžanov. Po izumrtju celjske rodbine pa so Habsburžani prevzeli celotno celjsko posest, s čimer so pridobili nazaj tudi med vojno izgubljene posesti.
Za izumrtje grofov Celjskih je bil kriv boj Ulrika Celjskega za ogrsko krono, s čimer si je nakopal veliko sovražnikov med ogrskimi veljaki. Ti so proti Ulriku pripravili veliko zaroto in ga leta 1456, ko so vojske branile Beograd pred turškim obleganjem, zahrbtno umorili. Ker
je bil Ulrik Celjski brez naslednika, se je z njegovo smrtjo končal njihov neverjeten vzpon. V Celju se je ob pogrebu zadnjega grofa Celjskega razlegal srhljiv klic: »Danes grofje Celjski in nikdar več«.