Zgodovina družine Fürst na Ptuju se prične z letom 1689, ko so bile Johanu Fürstu dodeljene meščanske pravice. l. 1813 je prišel na Ptuj prvi Fürst sedanje linije, Ernst Franz Xaver Fürst. L 1821 je tukaj ustanovil vinarsko podjetje "Conrad Fürst & Söhne".
Hišo na Krempljevi 1 na Ptuju je l. 1899 zgradil Conrad Fürst (1850-1922). Tukaj je bilo do leta 1945 prebivališče družine Fürst in sedež vinarskega podjetja "Conrad Fürst & Söhne". Takratni nemški naslov je bil Florianigasse 3.
Hiša je bila sedež Vinarskega podjetja "Conrad Fürst & Söhne". V pritličju so bili poslovni prostori, metem ko so bili v zgornjih nadstropjih stanovanjski prostori, a tudi sobe za goste. Dvorišče na Vodnikovo je obsegalo gospodarska poslopja, ter skladišča za kmetijsko mehanizacijo oz. orodja in garaže. (Conrad Fürst je bil eden izmed prvih lastnikov avtomobila na Štajerskem).
Zadnji Fürst, ki je živel tukaj je bil dr. Conrad III. Fürst, njegova žena Karolina (rojena Hintze) in njuni otroci: Conrad (IV., 1909 – 1945), Cary (1920-2011) ter Walter (rojen 1919, danes živeč v Avstrijskem Gradcu in po denacionalizaciji in vrnitvi hiše l. 2008 zdaj njen lastnik).
1945. leta je morala družina Fürst zapustiti hišo z vsem inventarjem in pobegniti. Del poslovnih knjig je ostal shranjen v mestnem arhivu. O preostalih stvareh; pohištvu, slikah, priboru in osebnih predmetih kot so oblačila, ni nič znanega. Do leta 2002 je bila v zgradbi policijska postaja, nato je bila zgradba v uporabi Regionalnega visokošolskega središča REVIVIS.
Po razglasitvi samostojne Republike Slovenije l. 1991 je zahteval Walter Fürst vrnitev hiše. Po dolgotrajnem pravdnem procesu je l. 2009 bila objavljena razsodba, da pripada zgradba in dvorišče dediču dr. Conrad Fürsta, Walterju Fürstu.
Takrat je bila zgradba v zelo slabem stanju. Fasada je bila razpadajoča, kosi ometa so nenehno odpadali na ulico, streha je puščala, tako, da so morali vsakič, ko je deževalo podstavljati vedra. Leta 2010 je družina Fürst prenovila fasado in dala na novo prekriti streho.
Po izselitvi visokošolskega središča REVIVIS ob koncu leta 2012 je bila stavba eno leto prazna. V letu 2014 se je pričel projekt “Fürstova hiša”. Od takrat so bili povabljeni v hišo umetnice in umetniki, mladi ustvarjalci, da postavijo tukaj svoje ateljeje, delavnice in studije, ter predstavijo svoje izdelke. Ob tem se v hiši redno prirejajo tudi razstave, koncerti in delavnice ter zabave za otroke.