Ich würde meinen, hier könntest du dich daran orientieren, ob das Gebäude (geht es um eins in Deutschland?), um dessen Gartenanlage es geht, 'fortified' ist (dann doch eher: Burg/castle) - oder nicht - bzw. ob es als Residenz erbaut wurde oder nicht (eher: Schloss/Palast /palace/ ggf. auch nur mansion...)
Ein 'palace garden / palace park' würde mir von vornherein immer angelegter, gepflegter und auch üppiger vorkommen als ein 'castle garden'. Kann sein, dass das Quatsch ist.
Die Anlage um Schloss Linderhof, etwa, würde ich als 'palace park/garden' bezeichnen, nicht 'castle park/garden'.
Sicher gibt es Gegenbeispiele.
Bin kein native speaker of English.