Hrad byl pravděpodobně založen již ve 13. století, první písemná zmínka pochází však až z roku 1380, kdy byl v majetku Švihovských z Rýzmberka. V letech 1420 a 1421 byl dobýván husity, při druhém obléhání zde přišel o oko Jan Žižka. Koncem 15. století za Půty II. Švihovského bylo Rabí povýšeno na město. V roce 1549 získal panství Jindřich Kurcpach z Trachemberka, poté Malovcové z Libějovic, Rožmberkové a v roce 1570 Chanovští z Dlouhé Vsi. Na začátku 18. století se stali majiteli již značně zpustlého hradu Lamberkové, hrad navíc zakrátko vyhořel. Roku 1920 darovali Lamberkové zříceninu Spolku pro zachování uměleckých, historických a přírodních památek v Horažďovicích.