Hartog Brilleman was een zoon van Joseph Brilleman en Branca Broekman. Hij had nog zes andere broers en zusters: Naatje, Grietje, Levie, Gerrit (overleden in 1934), Schoontje en Mietje.
Hartog trouwde in Amsterdam op 14 September 1905 met Kaatje Mullem, die op 28 September 1919 in Apeldoorn overleed. Het echtpaar kreeg 2 dochters: Branca, die trouwde met Levie Polak en Johanna, die trouwde met Salomon Schrijver. Beide dochters hebben de oorlog hebben overleefd.
Na het overlijden van Kaatje Mullem hertrouwde Hartog Brilleman op 6 Mei 1920 met Rebecca Rabbie, dochter van Levie Rabbie en Mietje Wolff.
Stadsarchief Amsterdam, archiefkaart Hartog Brilleman, Salomon Schrijver en Branca Brilleman en website www.wiewaswie.nl.
Biografie