Autrefois située dans une enclave bourguignonne, la seigneurie de Milly existait avant 1488. Des bâtiments sont attestés au milieu du XVIe s. Sans doute une simple demeure isolée, habitée de temps à autre au fil des siècles par les différents seigneurs ; le village ayant été créé seulement au milieu du XVIIe s.
Les bâtiments actuels se composent de l’ancienne maison seigneuriale et de ses communs. Ils se trouvent en face de l’église, au pied des vignes de « la Côte de Léchet ».