Ghetto a věznice Gestapa neměly z hlediska správy a organizace nic společného. Věznice v Malé pevnosti spadala pod velitelství Gestapa v Praze a byli v ní umístěni především političtí vězni. Ghetto bylo pod kontrolou Říšského hlavního bezpečnostního úřadu (RSHA) v Berlíně. Nicméně v Malé pevnosti byli také židovští vězni. Po dohodě mezi veliteli byli vězni z ghetta (jako Leo Haas, Fritta a další ze skupiny malířů) převáženi do Malé pevnosti i za menší přestupky. Malá pevnost obvykle znamenala smrt nebo deportaci na Východ. Židovští vězni žili ve velmi stísněných podmínkách v cele na prvním nádvoří, vedle byly cely sovětských válečných zajatců. Nejhůře se v Malé pevnosti dařilo židovským a sovětským zajatcům. Dozorci je obzvláště obtěžovali, týrali, bili a ubíjeli k smrti. Z přibližně 1 500 židovských vězňů, kteří prošli Malou pevností v letech 1940-1945, jich zde zemřelo asi 500.
