Jarvis nació en Connecticut en 1698 de William Jarvis (británico) (1672–1740) y Esther Wickes (1676–1740). Su padre había dejado Inglaterra con sus padres (Stephen Jarvis (1625–1693) y Mary Porter (1629–1693) en el siglo XVII para vivir en Estados Unidos .
Su hijo Samuel fue su único hijo. Jarvis murió en Connecticut en 1779. Está relacionado con la famosa familia Jarvis de Toronto .