Ellsworth nació el 27 de diciembre de 1836 en Esopus, Nueva York . [1] Se mudó a Milwaukee, Wisconsin en 1857. El 2 de enero de 1860, Ellsworth se casó con Helen "Nellie" Lucinda Jones (1841-1881). Tendrían cuatro hijos. Ellsworth murió el 4 de septiembre de 1898 en Milwaukee.
Ellsworth fue miembro de la Asamblea durante las sesiones de 1875 y 1876. [2] Además, fue elegido tesorero del condado de Milwaukee, Wisconsin, en 1873 y 1880. Era republicano .