De moeder van Ernst Klaus Brisch overleed bij zijn geboorte. Zijn vader, Hans Ernst Brisch, voedde hem alleen op, met behulp van een huishoudster. In de jaren '30 kwam Ernst Klaus met een kindertransport naar Nederland, waarna hij enige tijd in pleeggezinnen en tehuizen woonde, tot hij in november 1939 in Amsterdam bij zijn vader kon intrekken.
Zijn vader keerde na de oorlog terug uit het kamp Theresiënstadt. Hij trouwde met de huishoudster die al die jaren bij hem en Ernst in huis was geweest. Hij woonde tot zijn dood in 1971 in Amsterdam.
Bij het Leo Baeck Institute in New York bevinden zich diverse foto-albums van het gezin Brisch. Deze zijn te vinden door "Brisch" in te voeren in de zoekmachine: http://access.cjh.org/