Am Fuße des Sayner Burgberges erbauten die Herren von Reiffenberg, Ministerialen der Sayner Grafen, im 14. Jahrhundert ein mittelalterliches Burghaus. 1753 wurde es von den Freiherren Boos von Waldeck zu einem barocken Herrenhaus umgebaut. 1848 beauftragte Fürst Ludwig zu Sayn-Wittgenstein-Sayn den Louvre-Architekten Girard, das Schloss zu einer neugotischen Residenz umzugestalten. Im Zweite Weltkrieg zerstört, folgte unter Fürst Alexander 1995 Wiederaufbau und Revitalisierung.