Cesta vede podloubím zpět na velký vnitřní dvůr pevnosti. Když projdete podlouhlým obloukem hospodářské budovy, uvidíte vlevo tzv. Pražskou bránu Malé pevnosti, která byla teprve před několika lety znovu otevřena a uvolněna pro provoz služebních automobilů.
Když půjdete směrem k hlavní bráně, uvidíte na konci udržovaného parku po pravé straně tzv. Panský dům. V této budově bydlel velitel věznice Heinrich Jöckel a různí dozorci se svými rodinami. Ve sklepě Panského domu se nacházel salon, v němž dozorci slavili své večírky. O pořádek v parku, kde si denně hrály děti z rodin dozorců, se museli starat starší vězni. V budově, která je návštěvníkům nepřístupná, dnes sídlí správa památníku, fotolaboratoř, knihovna, archiv a kancelář ředitele památníku.