Milly était avec Fleys et Chemilly une des trois enclaves bourguignonnes de la partie champenoise du Chablisien. Le fief de Milly était un fief de danger, fief frontière.

Le château de Léchet (Milly) est un ancien château fort dont la fondation remonte probablement au XIᵉ ou au XIIᵉ siècle. À l’origine entouré de douves alimentées par la source dite « de Paresse », il possède encore aujourd’hui des éléments défensifs caractéristiques, notamment deux tours carrées massives et des meurtrières.

« un chastel et maison forte » existait en 1568. Il fut reconstruit à neuf par M. Baudesson à partir de 1736. De nombreuses familles s’y sont succédées dont la famille Bercher Dauberval. Plusieurs de ses membres furent de célèbres danseurs d’opéra à la fin du XVIIIe siècle.
Plusieurs plans des bâtiments et jardins sont conservés qui datent des années 1753-1785 et 1834. C’est toujours aujourd’hui une propriété privée.