De oorsprong van het kasteel gaat terug tot een erfelijke verdeling van het stamhoofdschap op basis van de Oldeborg in Wüppels; kasteel Fischhausen werd toen de zetel van een naar hem genoemd stamhoofdschap. Het eerste kasteel werd rond 1400 gebouwd door Matthias von Fischhausen. Dit complex stond blijkbaar nog overeind in 1614 toen er melding werd gemaakt van een stenen huis en een toren, die alleen dienst deed als opslagplaats. Ze bevinden zich waarschijnlijk in het oostelijke deel van het complex, dat wordt gescheiden door een gracht. Opperhoofd Ricklef von Vischhusen, die in 1511 het bestuur van Jeverland overnam voor de minderjarige dochters van Edo Wiemken de Jonge, bouwde een nieuw kasteel, later "het oude stenen huis" genoemd, op de plek van de voormalige voorburcht. Zijn feodale opvolger Boing von Waddewarden breidde het complex aanzienlijk uit. Hij was een belangrijk stamhoofd in Jeverland. In 1578 bouwde zijn kleinzoon, die ook Boing heette, het woonkasteel met twee verdiepingen en een achthoekige traptoren in zijn huidige vorm in de rechte hoek van het "oude stenen huis". In 1689 kocht Lüdeke von Weltzien het kasteel en liet het deel van het "oude stenen huis" dat boven de vlucht uit stak, afbreken. Het werd ook ingekort tot twee verdiepingen. In 1773 werd het kasteel verkocht aan de burgerij en vanaf dat moment deed het alleen nog dienst als boerderij. Het kasteel is omringd door een dubbel grachtensysteem van max. 180 × 160 m omringd. De sleuven zijn ongeveer 12 m breed. Aan de binnenkant is er een muur van ongeveer 1,50 m hoog. Aan de noord- en westkant is de greppel gedeeltelijk gevuld met bouwafval. Boven de twee toegangsdeuren zijn prachtige zandstenen portalen. Het jaartal 1578 is te zien op de deur van de toren met het wapen van Fischhaus. Op een gegeven moment behoorden 14 marsposten tot het landgoed Fischhausen. Tegenwoordig is kasteel Fischhausen privébezit (familie Schiersch) en niet toegankelijk voor het publiek.