Nació el 24 de febrero de 1763 en Mildred's Court London. Se convirtió en pintor de vidrio, pero a la muerte de su padre y con el apoyo de su hermano, Joshua, estudió para el ministerio unitario, donde llegó a dominar las matemáticas y el latín. Más tarde se convirtió en tutor de los hijos de Earl Stanhope .
Joyce tenía opiniones políticas radicales, se convirtió en miembro de la Sociedad para la Reforma Constitucional y de la Sociedad Correspondiente de Londres . El 4 de mayo de 1794 fue arrestado en la casa de Stanhope en Kent bajo el cargo de "prácticas de traición", y examinado por el Consejo Privado , donde se negó a responder a cualquier pregunta sin un abogado, lo que fue rechazado. Permaneció detenido hasta el 19 de mayo, cuando, junto con otros, fue internado en la Torre de Londres por un cargo de alta traición. Fueron procesados en Old Bailey el 25 de octubre. Tras la absolución de algunos de sus coacusados, se retiraron los cargos en su contra. Joyce había sufrido veintitrés semanas de prisión.
Joyce fue durante muchos años secretaria de la Sociedad Unitaria . En el momento de su muerte, el 21 de junio de 1816, era ministro del precursor de la Capilla Unitaria de Rosslyn Hill en Hampstead . Joyce se casó con Elizabeth Harding (sobrina del Capitán Fagg ) en 1796 y la menor de sus seis hijos, Hannah (nacida un año antes de la muerte de Joyce, luego se casó con William Ridyard ), se fue a vivir con su amigo William Shepherd .
Joyce escribió una serie de obras educativas populares sobre ciencia y matemáticas. Fue en gran parte responsable de la edición de dos obras enciclopédicas rivales que llevaban los nombres de otras, el Diccionario de Artes y Ciencias de George Gregory (1808) y la Enciclopedia Británica de William Nicholson , o Diccionario de Artes y Ciencias (1809). También contribuyó con artículos a Cyclopædia de Rees (1802-1819).