V prvních letech se strážní skládali ze zaměstnanců Gestapa a příslušníků Schutzpolizei (Schupo). Poté byla k ostraze rostoucího počtu vězňů v Malé pevnosti nasazena 1. rota strážního praporu SS „Čechy a Morava“. V dubnu 1942 byla nahrazena 2. rotou strážního praporu SS „Praha“. Ke konci války byli někteří esesáci ve strážní službě nahrazeni polními četníky z Banátu. Členové strážních oddílů obvykle tvořili popravčí četu pod vedením J. Zelinského, který byl po válce odsouzen k trestu smrti a popraven Lidovým soudem v Litoměřicích. Poprav se však často účastnili i dozorci.
K povinnostem stráží patřilo také doprovázet pracovní oddíly rozmístěné mimo Malou pevnost. Strážní kasárna byla velká budova, která se nacházela uprostřed Malé pevnosti mezi Pražskou bránou a dílenským dvorem. Před budovou se nachází malý park. Dnes je zde umístěno muzeum věznice Gestapa, v jehož druhém patře jsou uloženy originální materiály z vězeňského období.
