Né en 1793 près de Portsmouth, en Angleterre, Charles Eleazar Levey était un citoyen hautement estimé et respecté de la ville de Québec. Plus jeune, il quitte l’Angleterre pour s’installer à Demerara, en Guyanne britannique. Charles E. Levey y achète une grande plantation de canne à sucre sur laquelle il vit pendant une quinzaine d’années, avant de quitter pour le Canada en 1828. Il rejoint son frère à Québec : Lionel Levey est à l’époque l’un des marchands de bois les plus prospères de la province. Il meurt cependant l’année suivante, léguant ses actifs à Charles Eleazar.

Charles Eleazar Levey vend entièrement son domaine de Demerara et s’installe définitivement à Québec où il reprend les affaires de son frère jusqu’à sa retraite en 1868. Charles Eleazar Levey est le fondateur et premier président de la Banque d’Union du Bas-Canada.

Levey confie ses jardins de Cataraqui à Peter Lowe, anciennement jardinier en chef d’Henry Atkinson à Spencer Wood, et fait ajouter en 1866 une aile à l’ouest de la villa, démolissant le grand jardin d’hiver qu’avait fait ériger Henry Burstall dix ans plus tôt. Un nouveau jardin d’hiver est ajouté à l’extrémité, et un nouveau foyer adossé au mur nord de la nouvelle aile. Levey ne s’arrête pas à ces quelques modifications : en 1870, il fait construire le balcon avant du domaine. Puis en 1880, peu avant sa mort le 19 août, il fait construire une serre horticole et une serre viticole.