Au XVIᵉ siècle, le château appartient à Guillaume Mirey. Sa fille Madeleine se marie avec Philippe Boucher, qui devient seigneur de Milly.
En 1590, durant les guerres de Religion, le château est pillé et ses archives détruites. Cet événement explique en partie les lacunes documentaires concernant certaines périodes de l’histoire du château.
Jusqu’au milieu du XVIIᵉ siècle, Milly ne se compose que du château et de ses communs. En 1643, environ 75 personnes vivent sur le domaine.
La création du village débute véritablement le 10 mai 1648 lorsque Jean Piochot, originaire de Chablis, reçoit du seigneur Edme de Boucher une parcelle afin d’y construire une maison, et des droits d’usage et de pacage sur différents terrains. En échange, il doit payer une redevance annuelle, utiliser exclusivement le pressoir seigneurial et céder un septième de sa production de vin.
De nombreuses concessions similaires suivent, favorisant l’installation de nouveaux habitants. La population augmente rapidement puis se stabilise à un niveau proche de celui de Poinchy.
En 1719, suite à une demande conjointe des habitants et du seigneur Edme de Boucher, et après accord du curé de Poinchy, l’évêque de Langres accorde le vicariat et l’église Saint-Sébastien est construite à côté du château.