Hrad byl založen v 1. pol. 13. stol., první písemná zmínka se objevila v predikátu Boreše z Rýzmburka v roce 1250. V roce 1398 koupil osecké panství míšeňský markrabě a v roce 1459 se dostalo do rukou králi Jiřímu z Poděbrad. V roce 1460 panství získal do pronájmu Prokop z Rabštejna a v roce 1474 páni ze Sulevic. V roce 1523 získali oseckou zástavu Lobkovicové, kteří pak v roce 1530 Osek s hradem Rýzmburkem koupili od Ferdinanda I. do dědičného držení. Od roku 1651 bylo panství v rukou Valdštejnů. Již od dob pánů ze Sulevic však vrchnost sídlila na tvrzi a později zámku v Duchcově a hrad začal chátrat.