Slottets ursprung kan spåras tillbaka till en ärftlig uppdelning av hövdingadömet baserat på Oldeborg i Wüppels; slottet Fischhausen blev sedan säte för ett hövdingadöme uppkallat efter det. Det första slottet byggdes omkring 1400 av Matthias von Fischhausen. Denna anläggning stod uppenbarligen fortfarande kvar 1614 då ett stenhus och ett torn, som endast fungerade som förråd, rapporterades. De ligger förmodligen i den östra delen av anläggningen, som skiljs åt av en vallgrav. Hövding Ricklef von Vischhusen, som 1511 tog över styret av Jeverland för Edo Wiemken den yngres minderåriga döttrar, byggde ett nytt slott, senare kallat "det gamla stenhuset", på platsen för det tidigare yttre slottet. Hans feodala efterträdare Boing von Waddewarden byggde ut anläggningen avsevärt. Han var en viktig hövding i Jeverland. År 1578 byggde hans sonson, som också hette Boing, det två våningar höga bostadsslottet med ett åttkantigt trapptorn i sin nuvarande form i rät vinkel mot det "gamla stenhuset". År 1689 köpte Lüdeke von Weltzien slottet och lät riva den del av det "gamla stenhuset" som stack ut från flykten. Det förkortades också till två våningar. År 1773 såldes slottet i borgerliga händer och fungerade därefter endast som bondgård. Slottet är omgivet av ett dubbelt dikessystem av max. 180 × 160 m storlek omgiven. Dikena är ca 12 m breda. På insidan finns en vägg som är ca 1,50 m hög. På den norra och västra sidan är diket delvis fyllt med byggavfall. Ovanför de två entrédörrarna finns vackra sandstensportaler. Årtalet 1578 kan ses på torndörren med Fischhaus vapensköld. En gång i tiden tillhörde 14 marschposter Fischhausens egendom. Idag är Fischhausens slott privatägt (familjen Schiersch) och inte tillgängligt för allmänheten.