Frits was een zoon van Samuel van Gelderen en Elisabeth Schwaab. Haar broers en zussen waren Rosette, Jacob, Maria, Mozes , Benedictus, Carolina en Jozef.
Zijn grootouders waren Mozes van Gelderen en Rosetta de Leeuw en Jacob Schwaab en Maria Kruijer.
Geeske van der Kooy, Appelscha