Autrefois située dans une enclave bourguignonne, la seigneurie de Milly existait avant 1488. Des bâtiments sont attestés au milieu du XVIe s. Sans doute une simple demeure isolée, habitée de temps à autre au fil des siècles par les différents seigneurs ; le village ayant été créé seulement au milieu du XVIIe s.
Les bâtiments actuels se composent de l’ancienne maison seigneuriale et de ses communs. Ils se trouvent en face de l’église, au pied des vignes de « la Côte de Léchet ».

« Un chastel et maison forte » existait en 1568.
Il fut reconstruit à neuf par M. Baudesson à partir de 1736.
De nombreuses familles s’y sont succédées dont la famille Bercher Dauberval. Plusieurs de ses membres furent de célèbres danseurs d’opéra à la fin du XVIIIe siècle.
Plusieurs plans des bâtiments et jardins sont conservés qui datent des années 1753-1785 et 1834.
C’est toujours aujourd’hui une propriété privée.