Die Graue Burg, wahrscheinlich von den Grafen von Saffenburg erbaut war im Gegensatz zu den vielen Rittersitzen eine Grafenburg, deren Namen sich über Grawe- und Graveburg in Graue Burg gewandelt hat. Nach einem Brand Mitte des 18. Jahrhunderts wurde das Herrenhaus als dreigeschossiger Massivbau in fünf Achsen nach den Plänen von Johann Georg Leydel 1770/71 neu errichtet. Der Giebel der Vorderfront trägt das Wappen des Heinrich Edler von Monschau, dem der Neubau zu verdanken ist. Westlich des Herrenhauses steht ein zweigeschossiger klassizistischer Putzbau, das Gärtnerhaus mit flachem Dreiecksgiebel.
Nach häufigem Besitzerwechsel erwarb die Gemeinde Sechtem die Burg 1961 und verkaufte sie im Jahre 1969 an eine langjährige Mieterin, die in der Burg eine Privatschule unterhielt.
Die Graue Burg befindet sich heute in Privatbesitz.
