Elmore nació como James Henry Elmore el 6 de enero de 1843 en Mukwonago, Wisconsin . [1] Asistió a Racine College y se mudó por primera vez a Green Bay en 1863. Después de pasar varios años viajando, se instaló en Fort Howard, Wisconsin antes de regresar a Green Bay en 1883. Se casó con Anna Leola Chapman. Tuvieron un hijo. Elmore murió en 1914.
Elmore se desempeñó como concejal y alcalde de Fort Howard. Más tarde se desempeñó como alcalde de Green Bay desde 1890 hasta 1895. Elmore era demócrata .