Nació como hijo menor de John Sargent , diputado de Halstead Place, Kent y se educó en Eton College (1760–67) y St. John's College, Cambridge (1767) antes de estudiar derecho en Lincoln's Inn desde 1770. [1]
Ocupó una amplia variedad de cargos: Director del Banco de Inglaterra (1778-1779), Caballero de la Cámara Privada (1784), miembro de la Junta de Agricultura (1803), Secretario de Artillería (1793-1802), junta Secretario del Tesoro (1802–1804) y Comisionado de Auditoría (1806–21). [1]
También se desempeñó como miembro del parlamento de Seaford de 1790 a 1793, de Queenborough de 1794 a 1802 y de Bodmin de 1802 a 1806. [1]
En 1778 se casó con Charlotte, la hija y heredera de Richard Bettsworth de Petworth, Sussex, con quien tuvo 6 hijos y 4 hijas, [1] incluyendo a John Sargent , el clérigo y biógrafo.