Asser is een zoon van Jacob Goudsmit en Judic Gudema. Hij trouwde 18 oktober 1893 met Eva Sarfartij (21 jaar), dochter van Isaac Sarfatij en Rebekka Polk.
Kinderen
Margaretha, 18 augustus 1894 A'dam
Isidoor, 30 maart 1896 A'dam
Jacques, 19 januari 1898 A'dam
Asser woonde voor de oorlog in de Rooseveltlaan (toendertijd nog Zuider Amstellaan geheten), ook na de oorlog gaat hij hier weer wonen.
Hij overlijdt 10 april 1946 in Utrecht, 77 jaar oud.
Bron SAA archiefkaart Asser Goudsmit 25-2-1869 en wiewaswie.nl (huwelijk en overlijden Asser Goudsmit)