Joseph Elsas was een zoon van Jesaia Elsas en Mietje Wijl (Weijl). Hij huwde Sarah Vogel in 1909 in Amsterdam. Zij overleed in 1932. Ze kregen zeven kinderen: Jesaia, Coenraad, Levie, Maria, Alex en Juda en waarvan Meijer (Max) Elsas de oorlog heeft overleefd.
Hij hertrouwde met Keetje Pront in 1935 in Amsterdam.
Stadsarchief Amsterdam, archiefkaart Joseph Elsas