Frazier estudió batería con varios músicos de jazz de Nueva Orleans , incluidos Louis Cottrell, Sr. , Red Happy Bolton y Face-O Woods. Se unió a la Golden Rule Band con su primo Lawrence Marrero en 1921, y tocó en la Young Tuxedo Orchestra de Marrero en la década de 1920. Grabó con la Tuxedo Brass Band de Papa Celestin en 1927 y tocó con AJ Piron y Sidney Desvigne a finales de la década de 1920 y principios de la de 1930. Durante la Gran Depresión, Frazier tocó en bandas de la WPA y en bandas de baile de la Marina . En 1945, grabó conWooden Joe Nicholas , y trabajó en la década de 1950 con Celestin, Percy Humphrey , George Williams y la Eureka Brass Band . Tocó en la Preservation Hall Jazz Band en la década de 1960, trabajó allí hasta la década de 1980, y grabó en sus últimas décadas con Kid Howard , De De Burke , George Lewis , Emile Barnes , Captain John Handy y Don Ewell . Aparece en la película de Steve McQueen The Cincinnati Kid e incluso tocó la batería en una sesión para Helen Reddy .