A hatvanas években egy antwerpeni pályaudvaron ismeretlenül szólítja meg elbeszélőnk az állomás architektúráját elmélyülten tanulmányozó, magányos utazót, Jacques Austerlitzet, aki bizalmába fogadja a fiatal, érdeklődő idegent. A két férfi később újabb és újabb véletlen találkozások során folytatja a beszélgetést, s az építészettörténeti diskurzusból szinte észrevétlenül siklanak át Austerlitz élettörténetének feltárásba. Gyerekkorát Walesben, egy lelkész házaspárnál, a világtól elzártan tölti. Csak az internátusban tudja meg valódi nevét, és azt, hogy a zsidóüldözések elől menekítették a kontinensről a szigetországba. Austerlitz, aki kiskorától zárkózott, melankolikus alkat volt, a gyermekéveivel és valódi szülei sorsával való szembesülés hatására teljesen magába zárkózik, csupán a titokzatos, megfejtésre váró emlékek a társai – és azok az épületek, homlokzatok, vasúti csarnokok, alaprajzok, amelyeket Austerlitz megszállottan fényképez.
