Hrad byl pravděpodobně založen již ve 13. stol., první písemná zmínka je však až z roku 1380, kdy byl v majetku Švihovských z Rýzmberka. V letech 1420 a 1421 byl dobýván husity, při druhém obléhání zde přišel o oko Jan Žižka. Koncem 15. stol. za Půty II. Švihovského bylo Rabí povýšeno na město. V roce 1549 získal panství Jindřich Kurcpach z Trachemberka, poté Malovcové z Libějovic, Rožmberkové a v roce 1570 Chanovští z Dlouhé Vsi. Na začátku 18.stol. se stali majiteli již značně zpustlého hradu Lamberkové, hrad navíc zakrátko vyhořel. V roce 1920 darovali Lamberkové zříceninu Spolku pro zachování uměleckých, historických a přírodních památek v Horažďovicích.