La Comandancia General XXXXIV. Armee Korps se estableció el 15 de abril de 1940 en el Wehrkreis XVII (Viena) y participó en la Batalla de Francia en la sección del 6º Ejército . Tras el avance sobre el Aisne, avanzó hacia el Loira y ocupó Orleans. En julio de 1940, el Cuerpo fue transferido al Gobierno General (Polonia) y puesto bajo el mando del 4º Ejército.
Después del inicio de la Operación Barbarroja (junio de 1941), nuevamente bajo el mando del 6. ° Ejército, el XXXXIV Cuerpo de Ejército, compuesto por las Divisiones de Infantería 9.°, 262.°, 297.° y 57.°, operó en el Bug del Sur y tomó Sokal y Krystynopol . Durante la Batalla de Brody (1941) , el XXXXIV Cuerpo fue objeto de fuertes contraataques por parte del 15º Cuerpo Mecanizado soviético . Después de resistir el ataque, continuó el avance hacia Koziatyn . En agosto de 1941, durante la Batalla de Uman , el cuerpo fue subordinado al 1.er Ejército Panzer.y avanzó hasta el Dniéper después de la batalla. En septiembre de 1941, asignado al 17º Ejército , el Cuerpo, como parte del Gruppe Schwedler , aseguró la Sección Dnieper en el área de Cherkasy durante la Batalla de Kiev con las Divisiones de Infantería 68 y 297.
En enero de 1942, el Cuerpo fue rechazado en la Ofensiva Barvenkovo-Lozovaya por tropas del Frente Sur (al mando de Malinovsky) en el área de Izyum. Después de la Segunda Batalla de Jarkov que siguió , el Cuerpo participó en la exitosa contraofensiva del 17 de mayo, llamada "Operación Fridericus". Durante la ofensiva de verano alemana, el Cuerpo invadió el Cáucaso desde Sloviansk a través del bajo Don cerca de Konstantinovsk en julio de 1942. Después de avanzar hacia Maikop , intentó en vano abrirse paso hasta Tuapse en el Mar Negro.
En la primavera de 1943, el Cuerpo se retiró a Kuban Bridgehead . Retirado a la península de Taman en julio de 1943, el Cuerpo fue reasignado al 6º Ejército en el Bajo Dnieper y luchó durante octubre de 1943 contra la Ofensiva Soviética del Bajo Dnieper .
El 13 de marzo de 1944, las tropas del 4º Frente Ucraniano perdieron la ciudad de Cherson después de la Ofensiva Bereznegovatoye-Snigirevka . Empujado de regreso a Moldavia, el Cuerpo luchó en la Ofensiva Jassy-Kishinev (agosto de 1944), bajo el mando de Ludwig Müller. El cuerpo fue atacado por tropas del 3er Frente Ucraniano de Dubăsari , empujado hacia atrás y rodeado en Chisináu y completamente destruido.