Koncem 13. století zde byly postaveny dva hrady - Střmen a Adršpach, jehož prvním doloženým majitelem byl v roce 1354 Hanuš z Adršpachu. V roce 1381 se stal pánem Hynek z Dubé a Náchoda. V roce 1528 panství získal Zdeněk Lev z Rožmitálu a Jan Krušina z Lichtemburka. Dalšími majiteli byli např. Žehušičtí z Nestajova a Bohdanečtí z Hodkova, kteří zde vystavěli zámek. Panství krátce vlastnil také Albrecht z Valdštejna, Trčkové z Lípy a další. Posledními majiteli byli od roku 1828 Nádherní. Dnes je Adršpach znám především díky rozlehlému skalnímu městu.