Nacido en Nueva Orleans , Rayner se fue a Milán en 1924 para realizar estudios vocales, lo que le llevó a debutar en 1927, en Roma , como Rodolfo en La bohème . A menudo se le oía en la Opéra-Comique y la Staatsoper de Berlín .
El 23 de mayo de 1936, el tenor debutó en el Metropolitan Opera , como Don José en Carmen , junto a Bruna Castagna. Actuó con esa compañía hasta 1938, en Aïda (con Elisabeth Rethberg ), Cavalleria rusticana (con Rosa Ponselle ), Carmen nuevamente (al lado de Ponselle), Les contes d'Hoffmann (dirigida por Maurice Abravanel y dirigida por Herbert Graf ), Manon ( con Bidu Sayão en su debut en el Met, más tarde con Grace Moore ), Faust y Pagliacci (enfrenteRobert Weede en su debut en el Met).
En 1943, Rayner cantó en La forza del destino , junto a Herva Nelli , en la Academia de Música de Brooklyn .