Naproti bráně s nápisem „Arbeit macht frei“ („Práce osvobozuje“) se vedle sebe nacházely cela pro sovětské válečné zajatce (cela č. 1) a cely č. 2 a 3 pro židovské vězně. V jedné takové cele bylo umístěno až 100 vězňů. Tyto dvě skupiny vězňů byly vystaveny nejtvrdším vězeňským podmínkám. Věznicí gestapa prošlo více než 1500 židovských vězňů, kteří byli zatčeni za svou politickou činnost, porušování židovských zákonů nebo byli do věznice převezeni z ghetta. Přesun vězně z ghetta do Malé pevnosti se rovnal rozsudku smrti, protože dozorci se zaměřovali především na židovské vězně. Koncem září 1944 byl v Malé pevnosti zavražděn předseda Rady starších Eppstein, před deportací do Osvětimi zde byli vězněni terezínští malíři Leo Haas, Otto Ungar a Bedřich Fritta; k smrti zde byl brutálně ubit malíř Ferdinand Bloch.
Další cely byly rozmístěny na I. dvoře. Vybavení cel na tomto dvoře bylo všude stejné. Vězni se tísnili na třípatrových pryčnách vytesaných z nerovného dřeva. Pytle se slámou byly naplněny hoblinami nebo dřevitou vlnou. Vlhké místnosti nebylo možné vyvětrat, přestože se v celách nacházelo až 90 osob. Téměř nikdy se netopilo, i v silných mrazech zůstávala malá „kanónová kamna“ studená. Jedna záchodová mísa na celu zdaleka nestačila. Žárovky z lamp visících ze stropu byly vyšroubovány.
