Dans l'étude de terrain présentée par Tommaso Soderini en 1464 aux «Officials» du Registre foncier de la République de Florence, il a été noté que le vin et le pétrole étaient les produits les plus prisés du domaine. La construction des caves, dont la structure voûtée démontre leur utilisation pour la production de vin, a commencé en 1124. À cette époque, le château appartenait à l'une des familles bancaires les plus importantes de Florence, les Bardi, qui, dans la seconde moitié du XIIIe siècle, a commencé l'extension de la forteresse en construisant des murs et des remparts périmétriques dans le style typique de Guelph de l'époque. Le château est resté en possession du Bardi jusqu'au début du XVe siècle, lorsqu'il est passé à la famille Soderini, l'une des familles les plus influentes sur le plan politique à Florence. Ce sont les Soderini qui furent responsables de la conversion du manoir à tourelles de Gabbiano à Fattoria, déjà achevé à la fin du XVe siècle, selon la description faite dans le "land survey" présenté en 1480 par le père de Pier Soderini, Tommaso, au Registre foncier "Officiaux" du Registre foncier de la République de Florence.