Ernst Brenner was een zoon van Moritz en Therese Natalie Brenner-Levy. Hij had een zuster, Sophie, die de oorlog overleefde en naar Israël emigreerde.
Ernst Brenner was getrouwd met Magdalene Sothmann, die de oorlog overleefde. Het echtpaar was in 1933 vanuit Berlijn naar Nederland gekomen.
Bron: Page of Testimony, Yad Vashem, Jeruzalem.