Der Mitte des 18. Jahrhunderts angelegte Hofgarten orientierte sich ursprünglich an französischen Vorbildern mit Formgehölzen, Statuen, Terrasse und einem tiefer liegenden, von Lindenalleen gesäumten Broderie par terre. Kurz nach 1820 wurde anstelle des großen Brunnens die „Anatomie“ (nach Plänen von Karl Friedrich Schinkel) gebaut. Heute beherbergt sie das Akademische Kunstmuseum.
Seine heutige Gestalt hat der Hofgarten in dieser Zeit erhalten. Im barocken Gesamtkonzept war die Sicht zum Rhein Teil des Gartens. Neuzeitliche Uferbebauung und der Schinkel-Bau verhindern das heute. So wurde aus einem Gartenraum in freier Landschaft ein baulich gefasster Park von siebeneinhalb Hektar. Nach 1779 erhielt der Hofgarten zum Alten Zoll hin einen Gartenraum im „englischen Stil“ mit exotischen Bäumen.
