Polák se narodil v roce 1905 nedaleko Prahy. Dlouho pracoval v reklamní, propagační a novinové firmě, než byl v roce 1941 deportován do Terezína. Polák byl zaměstnán v evidenčním oddělení Židovské samosprávy, a proto měl po léta přístup k důležitým údajům.
Když byli první terezínský židovský starší Dr. Jakub Edelstein a tři zaměstnanci Ústřední věznice (Faltin, Deutsch a Goldschmied) obviněni z „falšování denních statistik vězňů“ a zastřeleni, převzal Polák práci po zavražděném Goldschmiedovi. Nyní bylo jeho úkolem sestavovat denní hlášení o vězních. Polákovi se podařilo zachránit cenný materiál před zničením na příkaz SS. Za tímto účelem často měnil úkryty, naposledy materiál zazdil do stropu malé místnosti. Tímto způsobem zachránil deportační seznamy všech vězňů z Čech a Moravy (73 608 jmen) a seznamy vězňů, kteří byli z Terezína transportováni na Východ (86 934 jmen). Připravil také seznamy se jmény vězňů z Německa, Rakouska, Holandska a Dánska k ukrytí, ale než se mu to podařilo, SS-Obersturmführer Bergl archiv nečekaně zapečetil a dokumenty byly spáleny spolu s ostatními z archivu Hlavního úřadu říšské bezpečnosti v Terezíně v prázdné nádobě na vodu na dvoře Sudetských kasáren. Několik dní a nocí zde hořely důkazy o nacistických zločinech. Nad táborem se několik dní vznášel štiplavý zápach kouře a všude létaly napůl spálené útržky papíru.
Po osvobození se Josef Polák vrátil do Prahy a vedl advokátní kancelář, která byla pověřena zpracováním zachráněných deportačních seznamů a poskytováním informací o osudu deportovaných vězňů. Je autorem a spoluautorem mnoha publikací o Terezíně. V roce 1965 podlehl zákeřné nemoci, kterou se nakazil v terezínském ghettu.