Nació en Hartford, Connecticut , hijo de Isaac Spencer, quien fue tesorero del estado de Connecticut de 1818 a 1835.
Joseph Spencer se graduó de Yale College en 1811, luego estudió derecho, fue admitido en el colegio de abogados y ejerció en Rochester, Nueva York . El 24 de septiembre de 1814 se casó con Elizabeth Selden (n. 1797), hermana de Samuel L. Selden y Henry R. Selden . Su única hija fue Elizabeth Selden Spencer (n. 1819).
Spencer fue miembro del Senado del Estado de Nueva York (8º D.) en 1823 , y murió unos días después del final de la sesión regular de la Legislatura en Albany, Nueva York . Su viuda se casó con Amos B. Eaton en 1831 y se convirtió en la abuela de Elizabeth Selden Rogers .