Hartog is gehuwd met Roosje Neuwit (geboren 31-08-1867 te Amsterdam) op 6 maart 1895 te Amsterdam. Er zijn 6 kinderen, Juda geboren 27 juni 1895 (gehuwd met Sara Pais geboren 27 mei 1895 te Amsterdam op 15 juni 1915 te Antwerpen), Vrouwtje geboren 8 november 1899, Simon geboren 23 september 1901, Rebecca geboren 13 juli 1903, Salomon geboren 12 augustus 1905 en Sara geboren 20 mei 1907 allen te Amsterdam.
Het gezin is verhuisd 5 september 1908 naar Antwerpen-Borgerhout, België (Bron: Gezinskaarten 1892-1920 Amsterdam).
Hartog en Roosje zijn vermist in de oorlog. Naar alle waarschijnlijkheid zijn ze omgekomen in de holocaust in 1942.