Foster, hijo de Nathaniel y Elizabeth Foster, nació en Lansingburgh , condado de Rensselaer , Nueva York, el 2 de septiembre de 1823. En 1836, sus padres se mudaron a Pompey , condado de Onondaga , donde se preparó para la universidad. Se graduó de Yale College en 1844. Estudió derecho sucesivamente con Hon. Victor Birdseye, de Pompey, Hon. BD Noxon, de Syracuse , y Hon. John Van Buren , de Albany . En octubre de 1847 fue admitido en el colegio de abogados, pero por motivos de salud se le aconsejó que intentara una vida más activa y se dedicó al comercio de ganado, hasta enero de 1853, cuando comenzó a ejercer como abogado en Cortland. Nueva York, donde permaneció hasta su muerte. Estuvo asociado con RH Duell, desde enero de 1857 hasta 1874, cuando la mala salud le obligó a abandonar su profesión. Había estado sujeto durante algunos años a dificultades pulmonares y pasó los tres inviernos siguientes en Washington, pero sin ninguna mejora notable. Desde noviembre de 1875 hasta febrero de 1877, trabajó como examinador en la Oficina de Patentes de Estados Unidos . Murió, de tisis, en Cortland, el 23 de mayo de 1877, a la edad de 53 años. Además de los cargos locales de confianza y honor, el único puesto público que ocupó fue el de miembro de la Asamblea del Estado de Nueva York en 1870 .
Se casó el 13 de octubre de 1853 con Jane M., hija de Richard G. Fowler, de Cortland, que le sobrevivió. No tuvieron hijos.