El padre y el abuelo de Stone eran sacerdotes de la Iglesia de Irlanda . [5] Fue educado en St Peter's School, York y Trinity College, Dublín . Fue ordenado diácono en 1875 y sacerdote en 1876. Después de un curato en Moreton-in-Marsh , sirvió en el Establecimiento Eclesiástico de la India en Ajmere , Cawnpore , Lucknow , Delhi , Mandalay y Darjeeling . En 1898, fue nombrado miembro de la Universidad de Calcuta .. A su regreso de la India fue Rector de Islip de 1902 a 1910, [6] [7] luego Vicario de Burcombe . [8]