Nacido en York Township, Upper Canada, Small se educó en las escuelas de su distrito de origen y en el Upper Canada College . [1]
Tanto el abuelo de Small, también llamado John Small , como su padre, Charles Coxwell Small , habían sido secretario jefe del Consejo Privado del Alto Canadá .
De 1855 a 1882, fue funcionario fiscal de la Corte del Banco de la Reina. De 1878 a 1879, fue miembro del Ayuntamiento de Toronto . [1] Fue elegido miembro de la Cámara de los Comunes de Canadá por Toronto East en las elecciones federales de 1882 . Conservador , fue reelegido en 1887 . No se postuló en 1891 y fue nombrado recaudador de aduanas en Toronto.