Gradnju dvorca započeo je vojvoda Ilinič, kraj sela Mir, krajem 15. stoljeća u gotičkom stilu s kvadratnim zidinama i kulama na kutovima. Peta kula je bila iznad ulaza s pokretnim mostom. Sve kule su četvrtaste u osnovi i završavaju oktogonalnim krovom, ali svaka ima jedinstvene dekoracije od crvene opeke s bijelim nišama od bijelog štuka.
Kada je dospio u ruke vojvode Radziwilsa (1568.), proširuje se i rekonstruira, posebice stambeni kompleks, najprije u renesansnom, a potom u baroknom stilu. Nakon što je bio napušten skoro cijelo stoljeće, devastiran je za vrijeme Napoleona. Dvorac je obnovljem koncem 19. stoljeća, pri čemu su mu dodani mnogi dijelovi i uređena mu je okolica u talijanski park s umjetnim jezerom.
Dvorac danas stoji kao spomenik turbulentne prošlosti ovog kraja.