Gordon estudió en la Juilliard School y tocó con Buddy Johnson y Ray Draper en la década de 1950. Trabajó con Lionel Hampton en 1961-1962 y con Lloyd Price y Sam Rivers más tarde en la década de 1960. En la década de 1970 tocó con Charles Tolliver , Clark Terry , Count Basie , Howard McGhee y Frank Foster , así como con Hampton nuevamente; Continuó trabajando con Hampton hasta 1989. También dirigió sus propios conjuntos a fines de la década de 1970, con acompañantes como Tolliver, Roland Alexander , Lisle Atkinson ,Stanley Cowell y Andrew Cyrille .
Después de dejar Hampton, Gordon tocó en el conjunto de Al Gray , Trombone Summit, y fundó un grupo llamado Trombones Incorporated con Fred Joiner . Cuando Joiner dejó el grupo a principios de la década de 1990, Gordon se convirtió en su líder y cambió su nombre a Trombones Unlimited. En la década de 1990 también tocó con Slide Hampton , Josh Roseman , Lafayette Harris , Martin Winder , Curtis Fuller y Thilo Berg .
Gordon trabajó durante varias décadas como músico de sesión para grabaciones y también ha actuado en orquestas de boxes para musicales de Broadway .