Hrad Holštejn stával na strmé vápencové skále jihozápadně od stejnojmenné vesnice. Vynikající poloha z něj učinila těžko dobytnou pevnost. Nejnepřístupnější byl od severu, kde dnes slouží kolmá, místy až převislá skála jako cvičná horolezecká stěna. Pod ní se nachází jeskyně Hladomorna, podle níž dostal hrad také své jméno (Hohlenstein, z němčiny dutý kámen).