Jones nació en Goshen , condado de Litchfield, Connecticut . Su familia se mudó a New Lebanon, Nueva York cuando John aún era un niño.
En 1804, Jones construyó la primera casa en lo que luego se convirtió en Village of Monticello . Fue director de correos de Monticello durante casi 40 años.
Se casó con Phoebe Ecker (c. 1785-1840) y tuvieron cinco hijos. Fue secretario del condado de Sullivan de 1809 a 1810, de 1811 a 1813 y de 1815 a 1825.
Fue miembro del Senado del Estado de Nueva York (2.º D.) de 1835 a 1838, y participó en las legislaturas 58.ª , 59.ª , 60.ª y 61.ª del Estado de Nueva York .
Después de la muerte de su primera esposa, se casó con Charlotte Elizabeth Andrews (c. 1792–1858). Fue elector presidencial en 1856 , votando por John C. Frémont y William L. Dayton .