Green se crió en Milwaukee , Wisconsin, donde tocaba el saxofón alto, principalmente en un club local llamado "The Brass Rail".
Su primera oportunidad llegó cuando Charles Mingus lo contrató en la ciudad de Nueva York como reemplazo de Jackie McLean en la década de 1950. Su breve paso por el bajista y compositor causó una profunda impresión. El uso moderado de Mingus de la notación y su creencia de que no existía una nota incorrecta tuvo una influencia duradera en el propio estilo de Green.
Green se mudó a Chicago, Illinois , donde actuó con músicos como Sonny Stitt , Louie Bellson , Andrew Hill , Yusef Lateef e Ira Sullivan . Originalmente fuertemente influenciado por Charlie Parker , Green pasó un período reevaluando su estilo y estudiando, emergiendo con un sonido muy distintivo que ha influido profundamente en varios saxofonistas más jóvenes, incluidos Steve Coleman y Greg Osby .
Green se retiró gradualmente del ojo público para desarrollar una carrera como educador de jazz. Enseñó en la Universidad Estatal de Chicago de 1972 a 1989, y en la década de 1990 asumió la dirección del programa de estudios de jazz en la Universidad del Norte de Florida en Jacksonville , donde enseñó y actuó como presidente de Estudios de Jazz hasta su jubilación en 2011. también se desempeñó como presidente de la Asociación Internacional para la Educación del Jazz y fue elegido miembro del Salón de la Fama de la Educación del Jazz.
Green grabó varios álbumes durante la década de 1960, incluido Step High (con Wynton Kelly y Jimmy Cobb ), Playing for Keeps y Soul in the Night (que emparejó a Green con Sonny Stitt ). Además de un puñado de discos como líder del sello Vanguard durante la década de 1970, también grabó varios álbumes con Elvin Jones , incluidos Summit Meeting y Time Capsule . Su sesión de 1989 en el sello Delos, Healing the Pain , conmemora la muerte de sus padres y recibió la codiciada calificación de 5 estrellas de la revista DownBeat . álbum de estudio de Green,Another Place (que presenta la sección rítmica de Jason Moran , Lonnie Plaxico y Nasheet Waits), también recibió una reseña de 5 estrellas de Down Beat . En julio de 2008, se lanzó su grabación The Salzau Quartet Live at Jazz Baltica .