Jacob Zilverberg was een zoon van Levie Zilverberg en Jetje Vos. Hij huwde Roosje Peereboom uit Amsterdam en kreeg met haar vijf kinderen. Eén dochter overleefde de Holocaust, de andere vier, t.w. Louis, Jetje, Cato en Levie zijn tijdens de Sjoa vermoord.
Stadsarchief Amsterdam, archiefkaart Cato Zilverberg, Drents Archief, overlijdensaktes van Louis, Jetje Cato en Levie Zilverberg.