Le origini del castello si possono far risalire a una divisione ereditaria della signoria basata sull'Oldeborg di Wüppels; il castello di Fischhausen divenne poi la sede di una signoria che portava il suo nome. Il primo castello fu costruito intorno al 1400 da Matthias von Fischhausen. Sembra che nel 1614 questo complesso fosse ancora in piedi, grazie alla presenza di una casa in pietra e di una torre, che fungeva solo da magazzino. Probabilmente si trovano nella parte orientale del complesso, separata da un fossato. Il capo Ricklef von Vischhusen, che nel 1511 assunse il governo di Jeverland per le figlie minorenni di Edo Wiemken il Giovane, costruì un nuovo castello, in seguito chiamato "la vecchia casa di pietra", sul sito del precedente castello esterno. Il suo successore feudale Boing von Waddewarden ampliò notevolmente il complesso. Era un importante capo tribù del Jeverland. Nel 1578, suo nipote, anch'egli di nome Boing, costruì il castello residenziale a due piani con una torre scalare ottagonale nella forma attuale, all'angolo destro della "vecchia casa di pietra". Nel 1689 Lüdeke von Weltzien acquistò il castello e fece demolire la parte della "vecchia casa di pietra" che sporgeva dalla fuga. È stato inoltre ridotto a due piani. Nel 1773 il castello fu venduto in mani borghesi e da allora servì solo come fattoria. Il castello è circondato da un doppio sistema di fossati di massima. Dimensioni 180 × 160 m circondate. Le trincee sono larghe circa 12 metri. All'interno si trova un muro alto circa 1,50 m. Sul lato nord e ovest, la trincea è parzialmente riempita di detriti di costruzione. Sopra le due porte d'ingresso si trovano bellissimi portali in pietra arenaria. L'anno 1578 è visibile sulla porta della torre con lo stemma di Fischhaus. Un tempo 14 posti di marcia appartenevano alla tenuta di Fischhausen. Oggi il castello di Fischhausen è di proprietà privata (famiglia Schiersch) e non è accessibile al pubblico.