Era hijo de John Goss (c. 1768–1848) y Mary (Lamont) Goss (c. 1767–1844). Nació en esa parte de la ciudad de Middleburgh que se separó en 1828 como la ciudad de Fulton , en el condado de Schoharie, Nueva York . Estudió derecho, fue admitido en el colegio de abogados en 1831 y ejerció en Pittsford . El 13 de noviembre de 1832 se casó con Margaret Porter (1814–1896) y tuvieron varios hijos, entre ellos el asambleísta George A. Goss (nacido en 1834).
Era juez de paz ; un coronel de la Milicia del Estado; Supervisor del Pueblo de Pittsford por varios términos; secretario del condado de Monroe de 1838 a 1840; y miembro del Senado del Estado de Nueva York (D. 28) en 1860 y 1861 .