Byrne nació en Knocklofty, Condado de Tipperary . Estudió en Clonmel High School y luego ingresó a St. John's College, Waterford para comenzar sus estudios eclesiásticos. Fue ordenado en Maynooth College y luego de tres años como profesor en All Hallows College , Dublin, regresó al St John's Seminary donde, reemplazando al Dr. Whelan, se convirtió en presidente durante diez años y ejerció su ministerio en la diócesis de Waterford y Lismore. Durante la Primera Guerra Mundial, Byrne editó el Registro Católico de la Diócesis de Waterford y Lismore y bajo su dirección la circulación del Registro alcanzó la cifra de seis mil copias al mes. [1]
En 1930 fue nombrado párroco de la parroquia de Ballybricken, la más grande de la diócesis. Posteriormente fue nombrado Archidiácono y finalmente Prelado Doméstico. Fue vicario capitular de la diócesis en el intervalo entre la muerte del obispo Hackett y la elevación del Dr. Kinane como obispo. [2] Se le otorgó el título de Canónigo y posteriormente Monseñor. Se destacó por predicar contra el comunismo, [3] hablando en contra de la infiltración de grupos de trabajadores en Waterford por parte de socialistas y comunistas en la década de 1930 y alrededor de la época de la guerra civil española. En 1936, Byrne fue trasladado a St. Peter y St. Paul's, Clonmel. [4]