Název Magdeburská kasárna (na plánu města B V - č. 25) není původním názvem této budovy. Tento název jí dal německý wehrmacht, který na jaře 1939 obsadil zbytky Československa a kasárna obsadil.
Vedle Drážďanských kasáren byl tento kasárenský objekt jako kasárna Kavalír největším kasárenským komplexem v tomto městě, které bylo postaveno jako pevnost a jehož stavba byla zahájena na jaře roku 1780. Kasárna Kavalír byla postavena v letech 1782 a 1786 a od podobných objektů v Terezíně se lišila větší jednoduchostí. Vše nasvědčuje tomu, že to souviselo s velkou přírodní katastrofou, která postihla Terezín v roce 1784. Jarní povodně zaplavily celé staveniště a ženijní ředitelství se pokusilo vzniklé škody kompenzovat snížením nákladů na drahé stavební detaily. Kasárna Kavalír byla v té době dokončena jen z malé části, na mnoha místech zatím existovaly pouze základy, a proto působila celá stavba mnohem skromněji než například velká pěchotní kasárna, jejichž hrubá stavba byla dokončena již v roce 1783.
Hrubá stavba kasáren Kavalír byla zřejmě dokončena v roce 1784, ale teprve v roce 1786 byla dokončena klenba a stavba posledního patra východního křídla a části bočního křídla. Kasárna byla stavbou takzvaného španělského typu. Všechna patra horního křídla byla určena pro důstojníky, zatímco ubikace pro vojáky se nacházely v prvním a druhém patře severního a jižního křídla. Malý počet obytných prostor byl zřízen také v prvním patře západního křídla a v obou křídlech nádvoří. Původně plánovaná kapacita těchto kasáren byla 626 osob. Celé přízemí s výjimkou východního křídla obsazeného důstojníky sloužilo jako vrátnice a průchody jako stáje pro celkem 396 koní.
Kasárna mohla pojmout celý jezdecký pluk a v letech habsburské monarchie byla sídlem 1. dragounského pluku a 11. ulanského pluku. I po vyhlášení samostatného československého státu sloužila kasárna svému původnímu účelu a po přejmenování na Kasárna Jana Jiskry z Brandýsa byla sídlem 1. dragounského pluku československé armády.
Po vstupu Mnichovské dohody v platnost, v říjnu 1938, opustili demobilizovaní českoslovanští vojáci město, které se náhle stalo poslední československou obcí před hranicí nové Německé říše. Z odloučeného pohraničí sem přišly tisíce českých uprchlíků, kteří v těchto kasárnách našli první provizorní ubytování. Na několik týdnů se tak staly domovem pro všechny rodiny státních zaměstnanců vyhnané ze severních Čech.
O půl roku později, 15. března 1939, však město rovněž obsadil německý wehrmacht. O rok později zřídil wehrmacht v Terezíně stálou posádku.
Když o rok později, na podzim 1941, bylo v Terezíně zřízeno ghetto, stala se budova, nyní přejmenovaná na Magdeburská kasárna, obzvláště důležitým objektem. Byly zde umístěny kanceláře a byty židovského staršího, jeho zástupce a Rady starších, kanceláře různých oddělení samosprávy a jejího sekretariátu, stejně jako byty některých významných osobností. Kasárna byla také místem, kde se konaly významné kulturní akce, bohoslužby, přednášky a setkání zaměstnanců samosprávy. Proto měla v životě ghetta zvláštní význam.
Po osvobození byla kasárna opět využívána československou armádou.
Dnes se v kasárnách nachází místo mezinárodních setkání a výstavní prostory, kde se návštěvníkům představuje umění a kultura ghetta. Budova, která původně patřila armádě, byla dána k dispozici památníku a Národní galerii v Praze, která využívá převážnou část komplexu jako depozitář. Budova byla v 90. letech 20. století za velkých finančních nákladů přestavěna a zrenovována.
Mezi prostory, které má památník k dispozici, patří křídlo budovy s fasádou a první kasárenské nádvoří. Budova má přízemí, dvě patra a podkroví. V přízemí se ve vestibulu nachází místnost pro návštěvníky, kteří si chtějí prohlédnout stálé expozice nebo se zúčastnit některé z příležitostných kulturních akcí. Nachází se zde také informační centrum s pokladnou a prodejna literatury a suvenýrů. V levé části přízemí jsou umístěné prostory sbírkového oddělení památníku Terezín s depozitáři. Zde odborníci pracují na zpracování všech předmětů pocházejících z doby ghetta. Na pravé straně se nachází kuchyně a jídelna, které patří k místu setkávání. Ve vstupní části se dále nacházejí kanceláře vzdělávacího oddělení, včetně kanceláře pro dobrovolníky z organizace Akce smíření pro mír a Rakouské služby na památku holokaustu.
Celé horní patro budovy je vyhrazeno stálým expozicím, které navazují na hlavní expozici v muzeu ghetta a byly postupně vytvořeny v letech 1997–2000. V levé části výstavního patra se nachází místnost, která byla zrekonstruována jako typické ubytování vězňů v ghettu. V sousední místnosti byla instalována výstava „Hudba v ghettu“. Hlavní část stálé expozice tohoto patra tvoří výstava „Výtvarné umění v terezínském ghettu“, která je instalována v místnostech celé střední části. Zde jsou vystavena díla známých umělců z ghetta i práce celé řady méně známých autorů. V pravé části výstavní plochy jsou umístěny výstavy „Literární tvorba v terezínském ghettu“ a „Divadlo v terezínském ghettu“.
Ve druhém patře se nacházejí ubytovací prostory pro účastníky setkání. Kapacita je až 50 osob. Na tomto patře se také nacházejí místnosti pro skupinovou práci. Drobné občerstvení lze připravit ve dvou kuchyních.
V podkroví se nachází divadlo, které svým vnějším charakterem připomíná i jiné scény, jaké existovaly v podkrovích Terezína během ghetta. Používá se pro koncerty a divadelní představení, ale lze jej využít i jako hlavní přednáškový sál a seminární místnost.