První písemná zmínka o Letovicích pochází z roku 1145. Hrad je písemně doložen k roku 1360, ale již v roce 1250 je zmiňován jako majitel panství Heřman z Letovic. V roce 1322 získali Letovice Ronovci. V roce 1424 hrad dobyli husité a panství bylo rozděleno na dvě části. Vlastnili je páni z Lomnice a páni z Boskovic. V roce 1544 koupila již opět sjednocené panství hrabata z Hardeku, za kterých byl hrad renesančně přestavěn. Dalšími majiteli byli od roku 1613 Thurnové a poté páni z Vrbna. V roce 1643 hrad dobyli Švédové. Majitelé se pak rychle střídali (Erdödyové, páni z Náchoda, Szelepcsényiové, Kordičové, Roggendorfové). V letech 1724 - 1820 panství patřilo pánům z Blümegenu a poté Kálnokyům. V roce 2004 koupil zámek pan  Bohumil Vavříček.