První písemná zmínka pochází z roku 1250. Hrad byl sídlem rožmberského rodu, po roce 1302 však bylo sídlo panství přeneseno do Českého Krumlova. V roce 1522 Horní hrad kromě věže Jakobínky vyhořel. Za Viléma z Rožmberka byl v roce 1556 Dolní hrad rozsáhle přestavěn. Posledním rožmberským majitelem byl od roku 1601 Jan Zrinský, od roku 1612 patřil hrad Švamberkům. V roce 1619 jej získali Buquoyové.