Nació en Blackadder , cerca de Edrington , Berwickshire , el 23 de septiembre de 1734. Su padre, un pastor, murió en 1754. El 1 de diciembre de 1755 fue admitido como miembro de una sociedad religiosa en Chirnside , Berwickshire; fue una de varias "sociedades de confraternidad" formadas por James Fraser de Brae . Se habían unido al Presbiterio Reformado en 1743, pero se separaron de él en 1753, como poseedores de la doctrina de la expiación universal (esta división ocurrió con la muerte de John Macmillan , y no tenían un ministerio fijo).
Purves en 1756 se comprometió como aprendiz de su tío, un wright en Duns , Berwickshire. Leyó la disertación de Isaac Watts sobre el Logos , 1726, y adoptó la doctrina de la preexistencia del alma humana de Cristo. En 1763, las sociedades de Berwickshire lo enviaron como comisionado a Coleraine , condado de Londonderry , para consultar con una rama de la iglesia de la secesión irlandesa que sostenía doctrinas similares. John Hopkins, Samuel Lind y Purves firmaron en Coleraine una minuta en la que expresaban su conformidad con la doctrina.
En 1769, las sociedades de Berwickshire decidieron calificar a uno de sus miembros como predicador público. Tres candidatos pronunciaron discursos de prueba el 8 de junio de 1769; uno de ellos se retiró de la membresía: de los dos restantes, Purves fue seleccionado por sorteo (27 de julio) y enviado al Glasgow College . Allí aprendió algo de latín, griego y hebreo para poder leer las escrituras en los originales. En 1771, las sociedades adoptaron una declaración de principios redactada por Purves. Su teología era alta arriana , pero su posición distintiva era el deber de investigar libremente las escrituras, sin sesgos por credo. Este documento generó controversias con los ministros del presbiterio reformado.
En 1776, varios miembros de las sociedades de Berwickshire, encabezados por Alexander Forton o Fortune, emigraron a Edimburgo y establecieron una sociedad religiosa, llamándose a sí mismos "sucesores del remanente que testificó contra la constitución de la revolución". Purves se unió a ellos en su invitación. se sustentaba en la enseñanza y el 15 de noviembre de 1776 fue elegido párroco. El sitio de su escuela y lugar de culto en Broughton, entonces cerca de Edimburgo, fue posteriormente ocupado por la capilla episcopal de St. Paul, York Place, Edimburgo. En 1777 trasladó su residencia a Wright's Houses, Bruntsfield Links, Edimburgo.
Purves llegó a conocer a Thomas Fyshe Palmer en 1786, compartiendo su política, pero no sus posiciones teológicas. En 1792 se hizo público el culto de la sociedad, en el Barbers 'Hall, Edimburgo, y se adoptó el nombre de "disidentes universalistas" y se emitió una declaración de opiniones. A partir de 1793, la lectura de lecciones de las Escrituras pasó a formar parte de los servicios públicos, una práctica que entonces no era común en Escocia; Al mismo tiempo, se alentó a los miembros a pronunciar exhortaciones públicas, preliminares al discurso del ministro. Las congregaciones de Purves eran muy pequeñas; pero predicó tres veces cada domingo y defendió sus puntos de vista a través de la prensa. Sus tratados anteriores se imprimieron con su propia mano, y él imprimió el tipo hebreo para ellos.
En el otoño de 1794 Purves dejó de predicar. Murió el 1 de febrero de 1795 y fue enterrado en el cementerio de Calton . Su tumba estaba en una parte del cementerio removida en la construcción de Regent Road. Su congregación estuvo sin ministro hasta el nombramiento (noviembre de 1812) de Thomas Southwood Smith ; más tarde se trasladó a la Capilla de San Marcos, Castle Terrace, Edimburgo.