Das heutige Schloss ist nach den Rittern van der Arffe benannt, die Besitzer eines mittelalterlichen Vorgängerbaus waren, der in den Truchsessischen Kriegen (1583-86) zerstört worden sein soll.

Von den Rittern, die gut zwei Jahrhunderte Lehensleute des Kölner Erzstiftes waren, wurde G. van der Arffe 1366 erstmals urkundlich erwähnt.

1572 gelangt der Besitz durch Heirat an Albrecht von Baexen, später an Adam von Blittersdorf, der diesen um 1750 an die Familie von Buschmann verkaufte.

Bauherr des heutigen Schlosses war die Familie Buschmann. Es entstand zwischen 1750 und 1755 und gilt als Werk des Architekten Leveilly. Dieser war französischer Hofarchitekt, der in den Diensten des Kölner Kurfürsten Clemens August stand. Er arbeitete an der Innenausstattung verschiedener kurfürstlicher Schlösser; so war er unter anderem Bauleiter am Nordflügel des Schlosses in Brühl.
1803 ging das Schloss an die Familie von Geyr-Schweppenburg, in deren Besitz es sich bis heute befindet. Die Familie war schon vorher insofern mit dem Schloss verbunden, als die Mutter des Kanonikers Buschmann eine Geborene von Geyr war.