V 10. stoletju je bil, verjetno z namenom obrambe pred Ogri, na višini 470 m sezidan grad Gromberg. Bil je jedro obsežnega lastninsko neodvisnega gospostva. V listini iz leta 1213 je zapisano, da je bil leta 1142 nemški vitez Bolfenk I. Gromberški pisar v službi podravskega mejnega grofa Bernarda Spanheima. Leta 1201 je še živel na Grombergu.
Iz prvotnega obširnega gromberškega ozemlja sta se že v 12. stoletju izločili obe polskavski gospoščini, vendar je Grombergu še za dolgo ostala sodna oblast nad njunimi podložniki. Grombergu sta se pozneje odtujila tudi Gabrnik in Bukovec. Markvard, zadnji Gromberški, je imel leta 1307 v Pretrežu v fevdu od Benedikte Mariborske štiri kmetije, ki sta jih sporazumno odstopila studeniškemu samostanu.
Ko so izumrli Gromberški, so jih nasledili gospodje iz Bistrice pri Ilzu, vzhodno od Gradca (Avstrija). Ti so posest siromašili v korist Friderika II. Celjskega. Po smrti Albrehta II. Bistriškega sta Gromberg upravljala upravnik slovenjebistriške posesti Valter Safner in Erazem Viltuški, ki si je prisvojil gromberške vinograde na Bukovcu. Ker so gromberški posestniki, nasledniki Bistriških, sodelovali v uporu proti cesarju, so izdajalca Andreja Greisenecka obglavili in mu odvzeli imetje. Ko je leta 1471 umrl še drugi upravnik Erazem Viltuški, si je cesar Friderik III. prilastil celoten Gromberg.
18. in 19. septembra 1532 so Turki zaman napadali močno utrjen grad Gromberg, ki ga je takrat upravljal Aigl. Po Aiglovi smrti se je vdova Marta leta 1538 poročila z Ožbaltom Pragerjem iz Jamnika pri Zrečah in se preselila k njemu, Gromberg pa je upravljal sin Jurij Aigl. Leta 1542 je bilo gromberško gospostvo zelo skromno. Podenj so spadale le še Kočno, Brezno, Kalše, Spodnje Prebukovje, Lastinja vas in Stara vas. Gabrniške vinograde je koristila bistriška Jernejeva cerkev.
V začetku 16. stoletja so od cesarja zaplenjeni Gromberg upravljale sestre Klöch. S porokami se je posest razdelila na štiri dele. Četrtina je pripadla Vartenheimu blizu Rač, četrtina zgornjepolskavskemu zemljiškemu gospostvu, četrtina je spadala k Spodnji Polskavi in četrtina k novonastalemu zemljiškemu gospostvu z jedrom v gradiču Frajštajn. Zgradil ga je plemič Janez Regal iz Rač leta 1570 na pogorišču dvorca Rosenberg.
Leta 1580 je Zofija, sestra Jurija Aigla, gromberško zemljiško posest skupaj z novim dvorom na polju prodala svojemu polbratu Krištofu Pragerju. Dvor se je imenoval Prager Hoff.
Od leta 1616 je na Grombergu nastopal sin Krištofa Pragerja Hans Prager. Dobro desetletje pozneje se je začenjal pogajati za prodajo gromberške gospoščine z zgornjepolskavskim Sigmundom Ludvikom Dietrichsteinom in od leta 1629 so bili novi gospodarji Gromberga Dietrichsteini.
Leta 1635 je Polskavsko zajel drugi slovenski kmečki upor, ki pa ni uspel. Sigmund Ludvig Dietrichstein je obnovil svojo oblast. Podložniki so morali požgane dvorce obnoviti (pragerski in spodnjepolskavski dvor, Frajštajn in zgornjepolskavski gradič). Ker so bili njegovi trije sinovi ob njegovi smrti leta 1653 še mladoletni, je polskavsko gospostvo, in s tem tudi Gromberg, vodila vdova Ana.
Leta 1671 so si takrat polnoletni bratje Dietrichstein razdelili polskavske posesti in leta 1674 prodali Gromberg.
Gromberškega gradu po letu 1635 niso več obnavljali. V pristavo pri gromberških razvalinah se je naselil nekaj desetletij pozneje Janže Ingolič, sin nekdanjega oskrbnika framskega gradu Ivana Jurija Ingoliča (1649–1654) ter prednik spodnje- in zgornjepolskavske rodbine Ingolič.
Gromberg je bil v začetku 18. stoletja v lasti Marije Eleonore Rosenberg z Betnave. Gromberška posest je takrat zajemala 122 podložnih družin in 15 družin sogornikov (zakupnikov).
Lastniki Gromberga so bili tudi mariborski Brandisi. Posest je bila preko upravnikov vodena s Frajštajna, ki ga je leta 1828 kupil grof Klemen Brandis. Gromberške grajske razvaline in vedno manj zemlje so imeli Brandisi v lasti tudi še po letu 1848.
Zadnja lastnica gromberškega gradu je bila Uršula Grünberg, ki je pokopana v cerkvi na Zgornji Polskavi.