Nacido en Lörrach , Ostertag estudió violonchelo con Leo Koscielny en la Hochschule für Musik Karlsruhe y con André Navarra en París. En 1967 fue premiado en el concurso internacional de Viena y en 1968/69 ganó la selección nacional del Deutscher Musikrat Konzert junger Künstler . Posteriormente fue primer violonchelista solista de la Deutsche Oper am Rhein , el Amati Ensemble Berlin, la orquesta de la Deutsche Oper Berlin y finalmente desde 1974 de la SWR Symphony Orchestra de Baden-Baden y Freiburg.. Realizó numerosas giras de conciertos y clases magistrales de gab en Argentina, Brasil, Canadá, Alemania, Finlandia, Italia y Japón. Desde 1980 enseña en la Academia de Música de Karlsruhe.
Junto con Nicolas Chumachenco , Erika Geldsetzer y Benjamin Rivinius, Ostertag fundó la Música Cuarteto Villa , con el que ganó dos ECHO Klassik premios para las grabaciones de Mozart Cuartetos de cuerda 's. Sus grabaciones de las Suites para violonchelo de Bach y las últimas piezas de Schumann para violonchelo y piano también recibieron elogios internacionales. Ostertag toca un instrumento del taller de Pietro Guarneri .