Krueger tuvo la distinción de ser uno de los primeros saxofonistas de jazz registrados. En 1920, la Original Dixieland Jazz Band , luego de una exitosa gira por Inglaterra, cortó varios lados para Victor Talking Machine Company . Uno de los gerentes de Victor insistió, en contra de los deseos de los miembros de ODJB, en que se incluyera un saxofonista en sus primeras grabaciones. Krueger fue elegido por Victor como saxofonista, y grabó con la ODJB entre 1920 y 1921, según Rust's Jazz Records 1897-1942 . Después de la fecha de grabación de ODJB, Krueger grabó numerosos lados de Brunswick y Vocalion con su propio nombre, así como con varios seudónimos. En la década de 1930 trabajó en la radio y se desempeñó como director musical y director de orquesta de Rudy Vallee.y Bob Crosby . También fue compositor; entre sus canciones más conocidas se encuentran "Sunday" (versionada por Pat Boone , Lester Young y Louis Jordan ) y "I Don't Know Why".