Bereits 1688 hat es an der Stelle des heutigen Hauses ein Gebäude gegeben. 1755 entstand das jetzige Gutshaus, das 1802 noch einmal umgebaut und 1888 rekonstruiert wurde. Die dreiflügelige, zweigeschossige Anlage ist eines der seltenen Beispiele für eine einfache, aber trotzdem repräsentative Bauweise mecklenburgischer Herrenhäuser. Trotz der Ein- und Umbauten nach 1945 ist die innere Raumaufteilung noch sehr gut erkennbar und wird bzw. wurde wieder hergestellt. Auf der Parkseite erstreckt sich im Ostflügel ein Gartensaal über zwei Geschosse. Auf Höhe der Obergeschosse besitzt er drei runde Fensteröffnungen, die in dieser Überlieferung für Mecklenburg einmalig sind. Im Saal sind Reste früherer Wandmalereien erhalten. Die Besitzer des Gutes Ganzow wechselten im Laufe der Jahrhunderte mehrfach. 1945 erfolgte die Enteignung des letzten Eigentümers und eine anschließende Nutzung u. a. als Flüchtlingsunterkunft und Wohngebäude sowie im Erdgeschoss als Post, Konsum, Kneipe und Kindergarten. Nach der Reprivatisierung 1990 und dem Leerzug verfiel das Anwesen zur Ruine; verschiedene Wirtschaftsgebäude waren bereits nach dem Krieg zur Gewinnung von Baumaterial abgerissen worden. Seit 2008 sanieren die neuen Besitzer die Gutsanlage und laden regelmäßig zu Kulturveranstaltungen ein.