Το συγκεκριμένο αρχοντικό χτίστηκε την ίδια εποχή με το διπλανό του Νικολάου Κρίσπη, από τον Ιωάννη Δημητρίου Αργυρόπουλο, το 1885.
Ο Ιωάννης Δημητρίου Αργυρόπουλος, ήταν πατέρας αρκετών Αργυροπουλέων και παππούς του λογοτέχνη Γιάγκου Αργυρόπουλου ο οποίος έφερε το όνομα του παππού του Ιωάννη. Εν συνεχεία, περί τις αρχές του 20ου αιώνα, το αγόρασε ο Θεμιστοκλής Ολύμπιος δια ονόματος του υιού του, Κωστή Ολυμπίου.
Ο Κωστής Θ. Ολύμπιος ήταν διευθυντής στα καταστήματα Ράλλη στη Βομβάη (Ινδία). Όταν συνταξιοδοτήθηκε γύρισε στην Πάρο με τη γυναίκα του Πιπίτσα, μια ξεχωριστή αρχόντισσα, και τα δυο παιδιά τους που οποία είχαν γεννηθεί στη Βομβάη, τη Μαίρη μετέπειτα γυναίκα του Μιχαήλ Κρίσπη και την Καίτη, μετέπειτα σύζυγο του Νάσου (Αθανασίου) Ανδρόνικου, όπου έκαναν ένα παιδί, τον Δημήτρη Ανδρόνικο.
Ο Ολύμπιος είχε επίσης αγοράσει το πυργόσπιτο «των Κονδύλιδων» στο Καλάμι, μαζί με όλη την έκτασή του, άνω των 100 στρεμμάτων. Το αρχοντικό αυτό στη συνέχεια περιήλθε στην κόρη του Κωστή Θ. Ολύμπιου, Καίτη Ανδρόνικου.
Η Καίτη κληρονόμησε επίσης το πυργόσπιτο στο Καλάμι κι ένα κτίριο μαζί με την αδερφή της Μαίρη, στην οδό Εμμ. Μπενάκη και Νικηταρά στην Αθήνα, όπου εκεί η Καίτη έκανε καταστήματα με στοά και την ονόμασε «ΣΤΟΑ ΑΝΔΡΟΝΙΚΟΥ».
Ο Νάσος Ανδρόνικος που ήταν πρώτος μηχανικός στα καράβια, πέθανε νωρίς και έμεινε μόνη της η Καίτη με τον γιο της Δημήτρη. Η Καίτη, ήταν ένας πολύ ευγενικός και μαλακός τύπος, όπως και η μητέρα της. Μιλούσε καλύτερα την αγγλική γλώσσα από τα ελληνικά.
Όταν ο Δημήτρης έφτασε τα 18 του, σκέφτηκε να πάει στην Ιταλία να σπουδάσει. Εκεί έμπλεξε με τέσσερις συμμαθητές ρου που του είπαν: «βρε συ, έχεις του κόσμου την περιουσία στην Πάρο και θα καθίσουμε εδώ να γίνουμε πολιτικοί μηχανικοί; Δεν πάμε να τα αξιοποιήσουμε;». Ήρθαν στην Πάρο και άρχισαν να παίρνουν δάνεια, δάνεια βέβαια εις βάρος του Δημήτριου Ανδρόνικου, διότι οι άλλοι δεν είχαν τίποτα, και σε δυο χρόνια το αρχοντικό το πήραν οι δανειοδότες. Στη συνέχεια, το 1966 πουλήθηκε στον σημερινό ιδιοκτήτη, Brett Taylor, που έχει τη σχολή καλών τεχνών.
Το Καλάμι περιήλθε στη Μαίρη και δεν πουλήθηκε. Ο Δημήτριος Αθ. Ανδρόνικος πέθανε από κατάθλιψη και καταπίεση.
Δημήτρης Ντόλκας
