Swain nació en 1778, hijo de Jacocks Swain. [1] Su hijo Joshua Jr. nació en 1804, y un segundo hijo, Henry, nació en 1806. [2] Swain fue nombrado alguacil del condado de Cape May en 1809, sirviendo hasta 1812. En 1811, junto con su padre y su hermano Henry , patentó la orza . Swain sirvió en la Asamblea de Nueva Jersey de 1813 a 1814. Fue miembro del Consejo Legislativo de 1815 a 1819, de 1823 a 1824 y de 1825 a 1827. [1]
En 1829, Swain figuraba como copropietario de una goleta en Great Egg Harbor . [3] Votó por una nueva constitución en la convención constitucional de Nueva Jersey de 1844 . [1] Un residente de Dennis Township, Nueva Jersey , [4] Swain fue nombrado como el primer superintendente de escuelas de la comunidad. [5] Swain murió en 1855. [1]