Sargent nació en Boston , Massachusetts , Estados Unidos, hijo de Lucius Manlius Sargent (1786–1867), autor y defensor de la templanza, y Mary Sarah Binney (m. 1824), hermana de Horace Binney , miembro de los EE. UU. Cámara de Representantes del Segundo Distrito de Pensilvania.
Se graduó de la Universidad de Harvard con una licenciatura en artes en 1843. Recibió su ll.b. de la Facultad de Derecho de Harvard en 1845, fue admitido en el colegio de abogados y ejerció en Boston. En 1846, Sargent recibió su Maestría en Artes de Harvard.
Durante la Guerra Civil Estadounidense se unió al Ejército de la Unión , convirtiéndose en ayudante del General Nathaniel P. Banks con el rango de teniente coronel . Sirviendo en el Ejército del Potomac , luchó en los enfrentamientos en Secessionville , Culpeper Court House y Rapidan Station, y en las batallas de Antietam, South Mountain y Chancellorsville. [2] En la primavera de 1864, como Coronel del 1.er Regimiento de Caballería de Massachusetts , fue gravemente herido y esto puso fin a su carrera. [3] Por sus servicios, Sargent fue ascendido al rango de general de brigada .
Se desempeñó como comandante del Departamento de Massachusetts del Gran Ejército de la República de 1876 a 1878. [4] [5] Fue el primer presidente de Soldiers Home en Chelmsford, cargo que ocupó hasta 1884, y permaneció en su patronato hasta su muerte. [6]
Se postuló para gobernador de Massachusetts como candidato del Partido Verde en 1880. [7] Después de jubilarse, vivió en California con su hija Elizabeth.
Estaba casado con Elizabeth Little Swett (1822–1866), la hija de Tasker Hazard Swett. Juntos, fueron los padres de: