Wheeler nació en Senath, Missouri , Estados Unidos, [1] y aprendió a tocar la guitarra y la armónica cuando era niño. Después de servir en la Segunda Guerra Mundial , comenzó a trabajar en la radio, apareciendo en estaciones de Missouri , Arkansas , Michigan y Kentucky . [1] En 1950, formó The Ozark Cowboys, junto con Ernest Thompson, AJ Nelson y Doyal Nelson.
Los Ozark Cowboys fueron a Nashville en 1953 y firmaron con Columbia Records . Sus lanzamientos iniciales no fueron éxitos, aunque Lefty Frizzell llevó "Run 'Em Off", escrita por Wheeler, al Top Ten de la lista de países de EE. UU.
Wheeler firmó como solista con Sun Records en 1957 y se fue de gira con Jerry Lee Lewis , Johnny Cash , Elvis Presley y Carl Perkins . [1] Después de un corto tiempo viviendo en California , regresó a Nashville y grabó para varios sellos más en la década de 1960. [1] Más tarde, realizó una gira con George Jones a mediados de la década de 1960 y más tarde esa década con Roy Acuff . [1]
Su mayor éxito fue el éxito de 1973 "John's Been Shucking My Corn", aunque los logros de su hija Karen eclipsarían los suyos en la década. [1] Compró una tienda de guitarras en Nashville a fines de la década de 1970 y, a veces, tocaba en el Grand Ole Opry con Acuff. [1] Wheeler estaba en el escenario tocando con el reverendo Jimmie Snow en 1984 cuando colapsó y murió de un ataque al corazón. [2]