Da ein Teil der Pfaueninsel landwirtschaftlich genutzt wurde, war es nötig ein Wohn- und Wirtschaftsgebäude zu errichten. Die Pläne für diesen Bau stammen von Oberhofbaurat Friedrich Ludwig Carl Krüger aus Potsdam. Es wurde 1803/04 errichtet und war ein vierseitiger Wirtschaftshof, dessen eingeschossiges Wohngebäude an den Seiten von zwei Türmen flankiert wurde. 1822 erfuhr der König Friedrich Wilhelm III., das in der Danziger Brotbänkengasse ein altes Patrizierhaus mit gotischer Fassade aus dem Jahre 1520 abgerissen werden sollte. Der König erwarb die Fassade für 300 Taler und ließ sie unter Schinkels Aufsicht abtragen und per Schiff nach Berlin auf die Pfaueninsel transportieren. Die zu dieser Zeit sehr hoch geschätzte Gotik sollte, mit dem aufstellen der Fassade als Kulisse, auf der Insel Einzug halten. Schinkel schlug statt dessen vor, das Kavalierhaus entsprechend umzubauen und die Fassade dem südlichen Turm vorzublenden. Der König stimmte dem Plan zu, da durch die Aufstockung des Wohngebäudes der Bau eines zweiten Kavaliergebäudes vermieden werden konnte. Der Umbau erfolgte 1824-26 nach den Plänen Schinkels. Die Nebengebäude wurden abgerissen und das Wohngebäude um eine Etage erhöht. Da das Fundament des Turmes für die schwere Sandsteinfassade nicht ausgelegt war, musste der Turm abgerissen und samt Fundament neu errichtet werden. Der Mitteltrakt und der nördliche Turm wurden mit gotisierenden Ornamenten ausgestattet und so der historischen Fassade angepasst. Nach dem Abriss des Hauses in Danzig entstand dort ein Neubau. Dieser stand dort bis zum 2.Weltkrieg und wurde wie viele andere Gebäude in der Stadt von Bomben zerstört. Beim Wiederaufbau nach dem Krieg orientierte man sich aber nicht am Neubau von 1825, sondern am Patrizierhaus von 1520. Das Kavalierhaus auf der Pfaueninsel wurde bei der Wiedererrichtung des Hauses in Danzig als Vorlage benutzt. So steht das Original in Berlin und die Kopie, das sogenannte "Potsdamer Haus" am Originalstandort.

(Quelle: Johannes Cramer; Ulrike Laible und Hans-Dieter Nägelke: Karl Friedrich Schinkel, Führer zu seinen Bauten, Band1)