Rodbina Vetter von der Lillie se je pri nas pojavila v 2. polovici 16. stololetja. Zelo so obogateli kot visoki dvorni uradniki in podjetniki. Gre za Janeza (†1597) in njegovo ženo Uršulo, rojeno Zogen (†1608), poslovno podjetnega Friderika (†1635), Janeza Vajkarda (†1657) in njegovo ženo Marijo Izabelo (†1679) ter Mihaela Vajkarda (†1695) in njegovo ženo Marijo Kristino Julijano rojeno Zollner, ponovno poročeno Wildenstein (†1708), ki je posest s poroko prenesla v last družine Wildenstein.
Vettri so se hitro vzpenjali na lestvici plemiških naslovov. Leta 1630 so postali baroni, leta 1653 so bili povzdignjeni v državne grofe von der Lilie, a že leta 1695 so z Mihaelom Vajkardom »po meču«, to je po moški liniji, izumrli.
S pridobitvijo bistriške posesti je Janez Vetter leta 1587 svojemu naslovu dodal predikat ‘zu Burg Feistriz’, kajti do takrat se je ta posest vselej naslavljala z ‘Bistriško gospostvo’ (Herrschaft Feistriz).
Dvorni svetnik in predsednik dvorne komore v Gradcu Janez Vetter je leta 1584 nastopil najprej kot fevdnik bistriške posesti, a že leta 1587 od deželnega vladarja Karla odkupil bistriški grad s posestvom vred in pridruženi urad Kebelj v svobodno in dedno last. Med leti 1623−51 je pristopil k dogradnji in obnovi gradu, po kateri je dosegel približno sedanjo obliko in velikost.
Vettri so imeli posesti tudi drugod, v Ptuju in okolici, Turnišču pri Ptuju, pri Kozjem, v Laškem, bili so tudi pogosto v višjih vojaških službah, zato niso redno živeli slovenjebistriškem gradu.
Zaradi njihove pogoste odsotnosti so imeli v Slovenski Bistrici velik vpliv njihovi grajski upravniki, ki so se pogosto menjavali.
Leta 1990 je bila pri ureditvi zemljišča na severni strani gradu najdena renesančna marmorna plošča. Na njej sta upodobljena grb bistriške gospoščine (fotografija) in grb Vettrove žene Uršule Wolzogen. Napis nad njima govori o dvornem svetniku nadvojvode Karla, Janezu Vettru, s predikatom zu Burg Feistriz, in o njegovi ženi Uršuli, rojeni Wolzogen.
Janez Vetter je umrl leta 1597, njegova žena Uršula pa leta 1608. Pokopana sta v mestni cerkvi Marije sedem žalosti v Slovenski Bistrici.