En 1814, après l’abdication de Napoléon Ier, Louis XVIII rentre d’exil et la veille de son entrée à Paris, il s’arrête à Saint-Ouen.
Reçu par la comtesse Potocka, il est hébergé dans l’ancien château du duc de Gesvres. Sous la pression de Talleyrand, de membres du Sénat et avec l’approbation du tsar Alexandre 1er, il signe la Déclaration de Saint-Ouen qui fonde la Restauration.

Par la suite, le roi rachète la propriété, la fait détruire, et charge l’architecte Jean-Jacques Marie Huvé d’édifier un château destiné à sa favorite, la comtesse du Cayla.
Il est inauguré le 2 mai 1823, jour anniversaire de la Déclaration de Saint-Ouen. Une plaque dans le petit salon du château commémore cet événement.

Au XIXe siècle, les bords de Seine sont un lieu de promenade prisé des Parisiens qui viennent s’y détendre, en s’adonnant à la baignade, au canotage et à la dégustation des produits du terroir dans les guinguettes.

Le parc du château devient un champ de courses entre 1880 et 1914. Il attire une population bourgeoise contrastant avec la population ouvrière de Saint-Ouen.