Nacido en Manlius, Nueva York , Hoag asistió a las escuelas públicas. Se mudó a Syracuse, Nueva York , en 1832 y trabajó como empleado en una tienda y más tarde en la oficina del recaudador del canal. Se mudó a Oswego, Nueva York , en 1839 y fue contratado para una empresa de comerciantes a comisión, mudándose a Toledo, Ohio , en 1849 como agente de la misma firma. Más tarde se dedicó al transporte y a actividades mercantiles. También se dedicó a la fabricación de gas de alumbrado y de coque. Fue candidato sin éxito a la alcaldía en 1867.
Hoag fue elegido demócrata para el cuadragésimo primer Congreso y sirvió desde el 4 de marzo de 1869 hasta su muerte en Washington, DC , el 5 de febrero de 1870. Fue enterrado en Forest Cemetery en Toledo, Ohio.
Este artículo incorpora material de dominio público desde el Directorio biográfico del congreso de Estados Unidos sitio web http://bioguide.congress.gov .