Era hijo del Dr. Stephen Halsey, Jr. y Hamutal (Howell) Halsey (ca. 1762-1848). Se graduó de la Universidad de Yale . Luego estudió derecho con Franklin Viele en Waterford, Nueva York , fue admitido en el colegio de abogados y comenzó a ejercer en el condado de Madison, Nueva York .
Fue miembro de la Asamblea del Estado de Nueva York (Suffolk Co.) en 1822 y 1824 . Fue sustituto del condado de Suffolk desde 1827 hasta 1840; y Primer Juez de la Corte del Condado de 1833 a 1847. Fue elector presidencial en 1844 , votando por James K. Polk y George M. Dallas . Halsey fue Agrimensor General del Estado de Nueva York desde 1845 hasta finales de 1847.
Fue miembro del Senado del Estado de Nueva York (1.° D.) en 1854 y 1855 , elegido en las listas de Hard y Temperance .