Graf nació y creció en Viena como hijo del abogado de la policía Josef Graf (1895-1966), wirklicher Hofrat (un título honorífico conferido a los altos funcionarios) y la ex institutriz Rosa (de soltera Kramreiter; 1885-1959). Recibió instrucción de piano y violín desde niño. En la fase final de la Segunda Guerra Mundial, Graf fue reclutado como estudiante de secundaria para servir en una unidad de defensa antiaérea donde sirvió en Langenzersdorf y en el sexto distrito de Viena (Esterházypark). Aprobó su examen de graduación de la escuela secundaria en 1946 y comenzó a estudiar arquitectura en la Universidad Tecnológica de Viena.. Como trompetista, se convirtió en miembro de la „Technische Tanz-Band“ (Banda Técnica de Danza, TTB), la orquesta de danza de la Universidad Tecnológica, como una actividad extracurricular. En 1947, aprobó el examen de ingreso al piano en lo que en ese momento se conocía como la Academia de Música de Viena y hoy se conoce como la Universidad de Música y Artes Escénicas de Viena , donde se convirtió en alumno de Bruno Seidlhofer . Posteriormente, Graf finalizó sus estudios de arquitectura para dedicarse por completo a la música. Aparte de sus estudios con Seidlhofer, tomó clases de contrapunto y composición con Alfred Uhl . En 1949 aprobó el primer examen estatal y se convirtió en finalista en el Concurso Internacional de Música de Ginebra de 1950.. Tras aprobar también el examen de diploma de piano en 1951, Graf debutó ese mismo año como solista en la Konzerthaus de Viena . Al año siguiente realizó varios conciertos: 1952 en el IV Concurso de Música Queen Elisabeth en Bruselas , 1953 en el primer Concurso Internacional de Música ARD en Munich , 1954 participó por segunda vez en el Concurso Internacional de Música de Ginebra , donde fue galardonado segundo lugar, y nuevamente en Bruselas en el Concurso de Música Queen Elisabeth de 1956, donde quedó entre los finalistas junto a Vladimir Ashkenazy , Lazar Berman , André Tchaikowsky ,John Browning y Tamás Vasary.
Mientras tanto, Graf se había casado en 1953 con la pianista brasileña Carmen Vitis Adnet. En 1955 se trasladó con ella a Río de Janeiro, donde nacieron sus hijas María Beatriz y Clarissa en 1955 y 1958. En 1957, fundó Seminários de Música Pro-Arte de Río de Janeiro junto con Hans-Joachim Koellreutter y otros. En 1958 siguió una invitación de Hans Sittner para regresar a Viena, donde impartió una clase de piano en la Academia de Música (ahora Universidad de Música y Artes Escénicas de Viena) hasta su jubilación en 1991. A partir de 1963, Graf enseñó con frecuencia como instructor. en instituciones similares en Europa (Sevilla, Bilbao, Oporto), Sudamérica y Japón. También actuó como jurado de concursos internacionales de piano como elEl Concurso Internacional de Piano Paloma O'Shea [1] y el Concurso Internacional de Piano Maestro Arthur Rubinstein y también se unieron al diseño del Concurso Beethoven de Viena iniciado por Josef Dichler y Richard Hauser. Graf interrumpió su carrera de enseñanza en Viena dos veces (1971-1972 y 1974-1975) para aceptar un puesto de profesor visitante en la Escuela Jacobs de Música en la Universidad de Indiana en Bloomington. Después de una operación de corazón en 1985, se vio obligado a limitar sus apariciones en conciertos. Pero en 1989 se hizo otra grabación que luego se publicó en CD. Contenía una interpretación de " El arte de la fuga " de Johann Sebastian Bach en Bruno SeidlhoferAdaptación a cuatro manos, realizada con su hija Clarissa Graf Costa.