Simon zijn ouders waren Salomon Swaalep en Marianne Brilleman. Hij had vijf broers en een zus: Jacob (1868-1913), Joseph (1870-1940), Eliazer (1872-1917) Abraham (1874-1938), Hijman (1876-1942) en Naatje (1882-1942). Na de dood van zijn moeder hertrouwde Salomon Swaalep met Betje Manheim (1853-1940). Zij kregen samen zes kinderen, halfbroers/-zussen van Simon: Herman (1886-1942), Regina (1889-1895…