Hartog is een zoon van Zacharias Levie Koe en Henrietta Mozes Groen. Hij trouwde 12 oktober 1881 met Sara Monis (22 jaar, pettenmaakster van beroep), dochter van Jacob Monis en Rebecca Jacob Gosselaar.
Bron wiewaswie.nl (huwelijk Sara Monis en Hartog Koe)