Το αρχοντικό του 18ου αιώνα στήθηκε πάνω σε δύο παλαιότερες, λιθόκτιστες οικοδομές. Οι τελευταίες ενσωματώθηκαν στο ισόγειό του και συνδέονται, κατά την παράδοση, με το σπίτι της Οσίας Φιλοθέης (1545;-1589), η οποία ήταν γόνος της αρχοντικής αθηναϊκής οικογένειας των Μπενιζέλων. Αυτές, όπως μαρτυρούν τα ίχνη τους στους τοίχους του ισογείου –δοκοθήκες, ερμάρια, τζάκι–, ήταν σχετικά χαμηλές κεραμοσκεπείς κατοικίες, με ημιυπόγειο κατώι και τζάκι στον όροφο. Κατά τη διαμόρφωση του αρχοντικού του 18ου αιώνα, το ύψος τους ταπεινώθηκε μέχρι τη στάθμη του πατώματος του ορόφου, και αποτέλεσαν το κατώι της νέας αρχοντικής κατοικίας.

Παρόμοια σπίτια περιγράφει πιθανώς ο Εβλιγιά Τσελεμπή (1667): «Είναι όλα – όλα 7000 σπίτια, σκεπασμένα με κεραμίδια, καμωμένα σαν κάστρα, ογκώδη κτίρια, λιθόκτιστα από κάτω ως πάνω και στερεά. Δεν είναι καθόλου σπίτια σκεπασμένα με χώμα, λασποντούβαρα και ξύλινα. Όλα είναι σπίτια καμωμένα με κουρασάνι και ασβέστη, με πέτρινους τοίχους, στερεοκτισμένα, εξαίρετα σπίτια. Σε κάθε σπίτι υπάρχει στέρνα νερού. Όλα τα βρόχινα νερά που πέφτουν στις στέγες και στα λιακωτά τρέχουν από τους αγωγούς στις στέρνες του νερού. Γενικά είναι σπουδαία σπίτια, γερά, όμορφα, στολισμένα, ευρύχωρα και, τα περισσότερα, με περιβόλι. Όλοι οι δρόμοι είναι καθαροί, με αμμουδερό έδαφος. Δεν υπάρχει στην πόλη αυτή καθόλου λιθόστρωτο, γιατὶ δὲν γίνεται καθόλου λάσπη…»