Durham nació en Filadelfia y aprendió a tocar la batería cuando era niño. Tocó con The Orioles a los 16 años y estuvo en una banda militar entre 1956 y 1959. Después de su baja, tocó con King James y Stan Hunter . En 1960, se mudó a la ciudad de Nueva York , donde tocó con Lloyd Price , Wild Bill Davis , Lionel Hampton , Count Basie , Slide Hampton , Grant Green , Sweets Edison , Tommy Flanagan , Jimmy Rowles y Duke Ellington .Orquesta, en la que tocó durante cinco meses. Mientras trabajaba con Basie, conoció a Al Gray y fue miembro de varios de los pequeños conjuntos de Grey. Acompañó a Ella Fitzgerald durante más de una década y trabajó con Oscar Peterson en un escenario de trío.
Durham también tocó en tríos con organistas como Charles Earland y Shirley Scott , y hubo un resurgimiento del interés en el trabajo de Durham durante el auge del acid jazz en la década de 1990. Muchos de los proyectos de Durham, tanto como acompañante como líder, surgieron debido a su asociación con el productor Norman Granz , quien lo utilizó en actuaciones con Ella Fitzgerald, Count Basie , Harry Edison , Tommy Flanagan y Joe Pass . Durham también lideró sus propios combos; es conocido por cantar scat junto con sus solos de batería. Durham también ha actuado a menudo con músicos de pop y soul comoFrank Sinatra , James Brown , Ray Charles y Marvin Gaye .