De reden dat Benjamin Joël twee keer is getrouwd, is dat zijn eerste vrouw (Selli van Witsen) is overleden bij de geboorte van hun eerste kind (Selli Rosetta Joël) op 16-10-1923. Selli van Witsen was de dochter van Salomon van Witsen en Rosetta Roos.
Benjamin is met Aaltje Olman hertrouwd op 5-8-1925. Hun eerste kind (Michel) werd ruim een jaar later geboren.