Met haar echtgenoot Aron Speier Holstein vestigde zij zich voor de oorlog al in Rotterdam, Goudsche Singel 216. Zij verhuisde met haar zoon Alfred Leo, geboren op 18 januari 1938, naar de Lange Tiendeweg 6 te Gouda. Vanaf 25 augustus 1941 woonden moeder en zoon aan de Bodegraver Straatweg 117 te Waddinxveen, waarvandaan zij naar Westerbork werden gedeporteerd.
Irma Speier Holstein-Simon is op 13 maart 1943 te Sobibor in Polen omgekomen.