El coronel James Butler era hijo de Richard Butler de Galmoye y nieto de Edward Butler, segundo vizconde de Galmoye . Era el heredero de Piers Butler, tercer vizconde de Galmoye, que murió sin descendencia masculina. Sin embargo, no se reconoció la sucesión del coronel Butler al vizcondado. Esto se debió a que una ley del Parlamento irlandés había declarado perdidos los títulos del tercer vizconde en 1697. [1] Era coronel de la Brigada Irlandesa al servicio de Francia.
Cuando murió en 1770 sin descendencia masculina, sus títulos (si es que existieron) fueron asumidos por el hijo ilegítimo de su hermano menor,
el Capitán Francis Piers Butler, de la Brigada Irlandesa. El capitán Butler se casó con Catherine-Julie de Vallory tras el nacimiento de su hijo, Piers-Louis-Antoine. Este Piers murió sin problemas en 1826.