Naproti, rovněž na konci udržovaného parku, se nacházela kasárna stráží. Zpočátku se dozorčí personál skládal z důstojníků gestapa a příslušníků ochranné policie (Schutzpolizei). Později, na jaře 1941, převzali tuto funkci příslušníci SS. Střežením policejní věznice Malé pevnosti byla pověřena 1. rota strážního praporu SS „Čechy a Morava“. Tato rota nastoupila dne 1. listopadu 1940. V dubnu 1942 byla nahrazena 2. rotou strážního praporu SS Praha. Ke konci války byli někteří příslušníci SS z řad strážných nahrazeni etnickými německými polními četníky z Banátu.
V bývalých kasárnách SS se nyní nachází Muzeum Malé pevnosti. Život, utrpení a smrt vězňů v tomto vězeňském zařízení je působivě zachycen v několika místnostech. V horním patře jsou umístěny depozitáře, v nichž se shromažďují a zpracovávají originální materiály z věznice gestapa.