Probablemente nacido en el condado de Durham , Anderson comenzó en el Crook Town fuera de la liga antes de convertirse en profesional y unirse al Woolwich Arsenal en diciembre de 1896. Pronto hizo su debut, en un partido de Segunda División a domicilio ante el Darwen el 1 de enero de 1897, que el Arsenal perdió 4. –1. Fue un pilar durante el resto de la temporada 1896-1897 , jugando en las tres posiciones de medio ; su versatilidad continua significó que siguió siendo un habitual en el Arsenal durante los siguientes cinco años.
La mejor temporada de Anderson para Woolwich Arsenal fue 1900-01 , donde solo se perdió dos partidos de liga en toda la temporada, aunque todavía estaba siendo utilizado como un hombre de utilidad en el mediocampo, sin hacer suya ninguna posición. Continuó siendo un habitual durante una temporada más, pero después de la llegada de Roddy McEachrane en 1902, fue expulsado del equipo de Woolwich Arsenal; solo jugó ocho partidos en 1902-03 y dejó el club al final de esa temporada. En total jugó 153 partidos con el Arsenal, anotando once goles. Más tarde se unió a la Southern League Portsmouth ; sin embargo, no debe confundirse con el John Anderson que jugó en el Portsmouth en la década de 1930.