Abraham was getrouwd met Marijtje Serlui.
Zij woonden met hun zes kinderen in de Nieuwe Kerkstraat.
Het was een Portugees Joods gezin.
Volgens traditie mocht de oudste studeren en de andere kinderen moesten werken.
Abraham had een ORT kruidenierszaak, die alom bekend was, in de Weesperstraat, met wel 200 soorten kaas.
Als mensen vroeger uitgingen, gingen ze na afloop vaak een broodje kopen bij De Haas en kaas kopen bij Cardozo.
De zes kinderen waren :
David Abraham Jessurun Cardozo geboren op 29-3-1896 en overleden op 31-8-1972 in New York,
Mozes (Mau) Cardozo geboren op 14-11-1897 en overleden op 24-2-1985 in Amsterdam,
Isaac Cardozo geboren op 27-5-1899 en vermoord in Sobibor op 9-7-1943,
Machiel Cardozo geboren op 17-2-1904 en vermoord in Sobibor op 9-7-1943,
Rachel Cardozo geboren op 17-2-1904 en overleden in Bloemendaal op 14-3-1988,
Jeanette Cardozo geboren op 15-12-1909 en overleden in 1998 in New York.