Malíři z kreslírny Technické kanceláře v Magdeburských kasárnách byli v ghettu v kontaktu s Leo Strassem, obchodníkem z Náchoda. Ten byl vášnivým sběratelem českého umění. Jeho „árijská“ rodina s ním byla v nelegálním spojení prostřednictvím českých četníků. Často dostával od malířů za nějaké potraviny kresby, které pak opouštěly ghetto stejnou cestou, jakou se dovnitř dostávaly potraviny a tabák. Nakonec se malíři dozvěděli, že se příbuzným Strassa podařilo navázat kontakt se zahraničím a že se jejich kresby dostaly do Švýcarska. Tato zpráva malíře nadchla a povzbudila. Před ohlášenou návštěvou komise Mezinárodního červeného kříže byla provedena prohlídka v kreslírně technické kanceláře a v ubytovně Lea Strassa, při které bylo nalezeno i několik neoficiálních studií malířů. Zabavené kresby byly údajně odeslány do Berlína a malíři, o jejichž díla se především jednalo, využili dočasného odkladu k důkladnému ukrytí svých obvyklých prací. Fritta zakopal své kresby v kovové bedně na staveništi, Otto Ungar je zazdil v Hannoverských kasárnách a Leo Haas je ukryl v podkroví Magdeburských kasáren. Kam ukryl své kresby Ferdinand Bloch, není dodnes známo.
Teprve několik týdnů po návštěvě komise Červeného kříže upozornil Otto Zucker malíře, že budou předvoláni k výslechu na velitelství SS. Dne 17. července 1944 se přihlásili v kanceláři šéfa Gestapa a byli okamžitě uvězněni ve sklepě velitelství, kde již seděli Leo Strass a architekt Troller. Po dlouhém čekání byli odvlečeni k výslechu, kterého se účastnili velitel ghetta Terezín Karl Rahm a inspektor tábora Karl Bergl, vedoucí pražského Ústředního úřadu pro uspořádání židovské otázky v Čechách a na Moravě (dříve Ústředna pro židovské vystěhovalectví), Hans Günther, Hauptsturmführer Möhs – spojka mezi Prahou a Říšským bezpečnostním úřadem v Berlíně – a později i sám Adolf Eichmann (viz také zpráva Lea Haase). Na stole leželo od každého malíře několik kreseb se studiemi motivů z ghetta. Důstojníci SS identifikovali autory jednotlivých kreseb a chtěli vědět, pro koho malíři pracují a jaké mají kontakty s vnějším světem a nelegálními organizacemi v ghettu. Ačkoli se nic nedozvěděli, obvinili malíře ze spiknutí a „šíření hanlivé propagandy v zahraničí“ s cílem očernit nacistické vedení a jeho práci. Proč byl zatčen i architekt Troller, není dodnes zcela jasné.
Jako architekt navrhoval zařízení pro soukromé ubytování a „kabuffy“ v ghettu a musel také pracovat pro velitelství SS. Po dalším výslechu a dlouhém čekání byli vězni večer společně se svými ženami, sedmiletou Zuzanou Ungarovou a tříletým Tommym Frittou naloženi na nákladní auto a odvezeni do věznice Gestapa v Malé pevnosti. V Malé pevnosti byl nejprve zavražděn Ferdinand Bloch a v únoru 1945 zde zemřela také paní Hansi Fritta. Ungarovi zmrzačili pravou ruku, aby již nikdy nemohl malovat. Ostatní byli krátce nato deportováni do Osvětimi, kde krátce po příjezdu Bedřich Fritta zemřel na otravu krve. Zemřel také Leo Strass. Jako zázrakem přežil Leo Haas, jehož putování vedlo přes Osvětim, Sachsenhausen, Mauthausen a Ebensee. Zachránila ho nucená práce v takzvaném „komandu padělatelů“ v Sachsenhausenu. Otto Ungar ukončil svou „poutní cestu“ na pochodu smrti v Buchenwaldu a krátce po osvobození zemřel v nemocnici v Bleikenheimu u Výmaru. Frída Ungarová zažila spolu se svou dcerou Zuzannou osvobození v Osvětimi. Erně Haasové se podařilo přežít v Malé pevnosti v Terezíně, i když měla zcela podlomené zdraví. Díky ní zůstal jako zázrakem naživu i Frittin syn Tommy.
Celá aféra malířů terezínských umělců jasně ukázala, jak velký význam přikládali fašisté své propagandě a jak velmi se obávali pravdivého svědectví o hrůzách „konečného řešení židovské otázky“. Z pěti známých terezínských malířů se vrátil pouze Leo Haas, který vytáhl své kresby a kresby Frittase z úkrytů. Kresby ostatních byly objeveny až dlouho po osvobození při renovaci domů.
