Stanton nació el 23 de agosto de 1771 en el condado de Northampton, Carolina del Norte , hijo de James Stanton IV y Elizabeth Thweatt. Llegó a Stantonsburg, Carolina del Norte, con sus padres en 1782. En 1790, Stanton recibió una concesión de tierras en esta área de 390 acres (1,6 km²). Se casó con Sally May, la hija del mayor Benjamin May y Mary Clara Tyson el 4 de agosto de 1795. Tuvieron 8 hijos.