Era hijo del geógrafo Olaf Ivar Monrad Kayser (1893-1928) y Hedwig Martha Nick (1877-1972).
Kayser comenzó sus estudios en la Real Academia de Música de Dinamarca en 1936, donde fue alumno de Poul Schierbeck . En Estocolmo , estudió composición con Hilding Rosenberg y dirección orquestal con Thursday Mann . Kayser debutó en 1941 como pianista en Copenhague y como director en Gotemburgo .
Después de sus estudios teológicos en Roma , Kayser fue ordenado sacerdote en 1949 y se desempeñó como pastor y organista de la catedral católica romana St. Ansgar en Copenhague hasta 1964, después de lo cual fue empleado como profesor de instrumentación y análisis de partituras en la Real Academia de Música Danesa. [1] [2]
Kayser fue uno de los principales compositores de órgano daneses del siglo XX. Entre sus principales obras para el instrumento se encuentran cuatro suites y el gran Concierto para órgano de 1965.