Latgales Centrālā bibliotēka atrodas Vienības namā, kurš celts pēc Daugavpils Latviešu biedrības pārstāvju iniciatīvas un Valsts prezidenta Kārļa Ulmaņa atbalsta 1937. gadā, kā tautu saskaņas un vienotības simbols. 1934. gada novembrī latviešu biedrība izsludināja projektu konkursu pieaicinot trīs arhitektus. 1935. gada 6. jūnijā par ēkas skiču projekta konkursa uzvarētāju tika izvēlēts arhitekts Verners Vitands (1903. – 1982.).

Latgales Centrālās bibliotēkas funkcionālais plāns un interjera projekts tika izstrādāts ievērojot Vienības nama augstvērtīgo interjera arhitektonisko risinājumu. Bibliotēkas interjers izstrādāts pēc iespējas precīzāk saglabājot sākotnējo interjera risinājumu – atverot apskatei kasešu griestus un atjaunojot kolonnu panelējumu.