Koeckert nació en Velké Březno cerca de Aussig , Bohemia . Hasta 1938, Koeckert estudió en la clase magistral del Conservatorio de Praga y fue concertino de la Orquesta Filarmónica Alemana de Praga de 1939 a 1945, que se trasladó a Bamberg tras la Segunda Guerra Mundial y tomó el nombre de Sinfónica de Bamberg . Koeckert fue concertino allí de 1946 a 1947. Luego se mudó a Múnich, donde fue concertino de la Symphonieorchester des Bayerischen Rundfunks durante 30 años a partir de 1949. Desde 1952, también fue profesor de violín en el Conservatorio Leopold Mozart de Augsburgo .
En 1939, Koeckert y ex compañeros de estudios habían fundado el "Sudetendeutsche String Quartet ", que más tarde pasó a llamarse "Prager Deutsches Streichquartett". Este conjunto actuó en Bamberg (desde 1949 con sede en Munich) bajo el nombre de Koeckert Quartet desde 1947 y se hizo un nombre en los años siguientes en numerosas giras de conciertos en el país y en el extranjero, y también a través de los estrenos mundiales de obras de música de cámara de muchos compositores contemporáneos. En 1950, Rudolf Koeckert descubrió un cuarteto de cuerda en do menor previamente desconocido de Anton Bruckner (1824-1896) y lo publicó en Viena en 1956. En 1982, se retiró del Koeckert Quartet.