Nacido en Stepney , Londres , Groves comenzó su carrera en los clubes fuera de la liga Leytonstone y Walthamstow Avenue del este de Londres , y luego brevemente como aficionado para Tottenham Hotspur antes de firmar formas profesionales con Leyton Orient en 1954.
Marcó dos goles en su debut con el Tottenham en la victoria por 3-1 sobre el Liverpool en White Hart Lane en septiembre de 1952. [2] Pero solo hizo 4 apariciones con los 'Lilywhites'.
Jugando como delantero interior , sus goles habituales en el Orient pronto atrajeron la atención del Arsenal , que lo fichó en noviembre de 1955 por 23.000 libras esterlinas, una cifra muy alta en ese momento.
Marcó en su debut, contra el Sheffield United el 12 de noviembre de 1955, en la victoria por 2-1 en Primera División ( Don Roper agarrando el otro gol del Arsenal).
A pesar de un comienzo llamativo, Groves inicialmente luchó para estar a la altura de las expectativas en el Arsenal, su primera temporada en el club obstaculizada por una lesión, primero en una rodilla y luego en la espalda. No fue hasta la temporada 1958-59 , que se estableció un lugar fijo. Groves anotó diez goles esa temporada y formó una útil asociación de ataque con David Herd .
La temporada siguiente, fue cambiado a lateral, donde jugó el resto de su carrera; Groves también fue nombrado capitán del Arsenal, luego de la partida de Dave Bowen . Su paso por el Arsenal se vio obstaculizado continuamente por lesiones; aunque cuando jugó impresionó tanto que fue seleccionado para el XI de Londres que jugó (y perdió) ante el Barcelona en la primera final de la Copa de Ferias entre ciudades en 1958.