Ruben is een zoon van Meijer Ruben de Swarte en Sara Wolf Knokker. Hij trouwde 5 november 1879 met Rebecca de Swarte (22 jaar, geboren in Amsterdam), dochter van Levie Ruben de Swarte en Judic Meijer Hamburg.
Bron wiewaswie.nl (huwelijk Ruben de Swarte en Rebecca de Swarte)