Clay comenzó temprano en St. Louis, Missouri cuando era un adolescente, alrededor de 1920. Realizó una gira con Synco Jazzers de John Williams a principios de la década y luego se mudó a Chicago , donde grabó con Louis Armstrong en 1927 y trabajó con Carroll Dickerson y Clifford . rey _
A fines de la década de 1920 y 1930, trabajó como músico de estudio, tocando con Earl Hines , Ma Rainey , Billie Holiday y las Boswell Sisters . Tocó con Don Redman a mediados de la década de 1930 y pasó un tiempo con Benny Goodman , Ben Pollack y Claude Hopkins en la segunda mitad de la década. En la década de 1940, volvió a pasar tiempo con Hines, Horace Henderson , Leon Abbey , Cootie Williams y Cab Calloway . También grabó con The Mills Brothers . Entre 1944 y 1951 dirigió su propia banda, que incluíaEdgar Battle entre sus acompañantes; también tocó como acompañante por derecho propio con Manzie Johnson y Harry Dial . [ cita requerida ]