Tory nació en Port Shoreham, Nueva Escocia en 1838 de padres ♂Henry Tory (1793-1881) y Ann Dieckhoff (1792-1867), Tory se casó con Anorah Ferguson (1835-1931), tuvieron tres hijos y comenzaron una familia política. que abarca Nueva Escocia y Ontario :