Ο πύργος κτίστηκε στις αρχές του 17ου αιώνα και ανήκε στην ενετική οικογένεια Barozzi. Όπως οι περισσότεροι αρχοντικοί πύργοι της Νάξου αυτού του τύπου, χτίστηκε μετά την επικράτηση των Οθωμανών στις Κυκλάδες.

Μνημονεύεται για πρώτη φορά σε έγγραφο που περιγράφει πειρατική επιδρομή το 1678. Σύμφωνα με ένα από τα οικόσημα: «1742 Νοεμβρίου 4 Βερνάρδος Μπαρότζι ετελείωσε τον Πύργο», που δείχνει ότι τότε ο Πύργος έλαβε τη σημερινή του μορφή. Στη συνέχεια περιήλθε στη Δόμνα κυρία Μαριόρα Μαυρογένη (χήρα Φαναριώτη ηγεμόνα της Βλαχίας), η οποία με τη σειρά της τον πούλησε στον «Αγά» Γεωργάκη Φραγκόπουλο το 1795 μαζί με το λιοτρίβι του και τον περιβάλλοντα χώρο. Τελευταίος ιδιοκτήτης ο Ιωάννης Γ. Γρατσίας.

Ο πύργος είναι τριώροφος με ισχυρά τείχη, καγκελόφραχτα παράθυρα, βαριές ξύλινες πόρτες, κρεμαστή ξύλινη γέφυρα, ζεματίστρα και οικόσημα που μαρτυρούν τους εκάστοτε κτήτορες του και τις διαδοχικές επισκευές. Μεταξύ των οικοσήμων είναι και αυτό του Γ. Φραγκόπουλου, πάνω από την εξώπορτα.

Σήμερα είναι ανακαινισμένος και κατοικείται.