První písemná zmínka pochází z roku 1285, kdy na zdejší tvrzi seděl vladyka Sulislav ze Zásmuk. Po pánech ze Zásmuk byli koncem 15. stol. majiteli Vojslavičtí z Vojslavic, dále Popelové z Vesce a na Maloticích a páni z Ronovce. V roce 1533 koupil Zásmuky Adam z Říčan a v roce 1583 se stali majiteli zadluženého panství Vchynští z Vchynic. V roce 1636 panství koupil Václav Michna z Vacínova a o rok později je vyměnil s Janem Rudolfem ze Šternberka. Šternberkům patří zásmucký zámek dodnes s výjimkou období, kdy byl zabrán za 2. světové války Němci a posléze komunisty.