Estudió dirección, piano y trombón Berlin Hochschule für Musik con Konrad Friedrich Noetel y Boris Blacher . Pasó dos años como director de coro y maestro de capilla adjunto en la ópera de Stralsund (1947-1949). Enseñó piano y teoría musical en el Berlin College of Music (1946-1978). En 1960 fue nombrado profesor. Después de conocer al organista francés Jean Guillou durante este tiempo, Baumann escribió sus primeras composiciones para órgano (Invocación op. 67 no. 5, Trois pièces brèves op. 67 no. 6, Psalmi op. 67 no. 2), que Guillou estrenó en un concierto el 20 de enero de 1963 en la iglesia de San Matías en Berlín. [2]Baumann también apareció como director y director de coro y, en 1963, se convirtió en director interino del coro en la Catedral de Santa Eduvigis . Su cantata Libertas cruciata fue la primera composición escrita específicamente con la radio FM estéreo en mente.