Nació en el área que en 1815 se separó como la Ciudad de Westerlo , Condado de Albany, Nueva York . A una edad temprana se mudó a Albany, Nueva York , y se dedicó al negocio del transporte. Más tarde se trasladó a Buffalo, Nueva York , y continuó su negocio allí hasta aproximadamente 1858 cuando se jubiló. En 1834, se casó con Lucy Wilbur y tuvieron tres hijos, entre ellos Harriet Prosser (1836-1909), que estaba casada con el juez principal William C. Ruger (1824-1892).
Prosser ingresó a la política como demócrata , se unió al Partido Suelo Libre en 1848 y al Partido Republicano desde su fundación en 1855. Fue miembro del Senado del Estado de Nueva York (31 ° D.) desde 1859 hasta 1861, sentado en el 82 ° . Legislaturas 83 y 84 del estado de Nueva York .