Jacob is een zoon van Nathan Hilversum en Jentje Horst. Hij trouwde 26 maart 1919 met Heintje Kloot (23 jaar), dochter van Salomon Kloot en Sara Sluijzer. Het paar scheidde 17 september 1926.
Na de scheiding hertrouwde Jacob 12 december 1928 met Jetje Lever (25 jaar), dochter van Samuel Hartog Lever en Sientje Blok. Jetje overleed 8 september 1931 in Amersfoort.
Hij hertrouwde 13 oktober 1937 met Vrouwtje Wertheijm (29 jaar), dochter van Maurits Wertheijm en Betje Bak.
Bron wiewaswie.nl (huwelijk en overlijden met Jacob Hilversum)