Nacido en Atlantic City , Nueva Jersey, Benjamin tocó con muchos músicos de jazz en una variedad de modismos. Al principio de su carrera tocó en las grandes bandas de Artie Shaw , Fletcher Henderson , Sy Oliver y Duke Ellington .
Sus créditos posteriores incluyen trabajos con Roland Kirk , Hank Garland , Dave Brubeck , Marian McPartland , Louis Armstrong (en sus últimos años), Mal Waldron , Jo Jones , Gary Burton , Sarah Vaughan , Roy Haynes , Art Taylor y el hermano Jack McDuff .