Nacido en Springfield, Vermont , Hoard asistió a las escuelas públicas. Se mudó a Amberes, Nueva York , donde se formó como empleado, reparador de relojes y mecánico. Fue director de correos de Amberes en la década de 1830.
Posteriormente, Hoard estableció una sociedad con Gilbert Bradford, y la empresa Hoard & Bradford tuvo éxito como fabricante de máquinas de vapor portátiles para operar prensas de impresión y otras máquinas.
Se mudó a Watertown, Nueva York , en enero de 1844. Se desempeñó como secretario del condado de Jefferson desde 1844 hasta 1846.
Originalmente un demócrata identificado con los movimientos Free Soil y Barnburner , las opiniones contra la esclavitud de Hoard lo llevaron a convertirse en republicano cuando se fundó ese partido.
Hoard fue elegido republicano en los congresos trigésimo quinto y trigésimo sexto (4 de marzo de 1857 - 3 de marzo de 1861).
Durante la Guerra Civil se dedicó a la fabricación de fusiles para la Unión . Las disputas con el Departamento de Guerra sobre el cumplimiento del contrato causaron a Hoard una pérdida financiera.