Davis comenzó su carrera en St. Louis, tocando con la Odd Fellows Boys' Band cuando era adolescente y consiguiendo un lugar en la banda de Charlie Creath . A fines de la década de 1920, se mudó a la ciudad de Nueva York , donde tocó en las bandas de Edgar Hayes y Arthur Gibbs . Grabó por primera vez con el conjunto de Eddie Condon en 1929, y ese mismo año se sentó con Cotton Pickers de McKinney . En la década de 1930 tocó con Benny Carter , Don Redman y Elmer Snowden , e hizo una temporada de dos años en Louis Armstrong .'s orquesta a partir de 1935. Hacia el final de la década realizó una gira por Europa con Edgar Hayes y tocó en la revista Blackbirds en la ciudad de Nueva York.
Davis se unió al grupo revival de Sidney Bechet en 1940 y también tocó en bandas dirigidas por Maurice Hubbard , Albert Socarras y George James . Continuó actuando en escenarios de poca monta en Nueva York hasta mediados de la década de 1950.