Sharma ingresó al fútbol de nivel de club a la edad de 13 años y se unió al Kalighat Club en Kolkata después de probar con éxito allí. Continuó jugando para el equipo hasta que fue seleccionado para jugar en el equipo juvenil del Rajasthan Football Club , Kolkata.
Después de una exitosa carrera juvenil, Sharma fue recogido por George Telegraph SC , uno de los principales equipos de fútbol de Calcuta y continuó jugando para el equipo en la Liga de Fútbol de Calcuta .
El entrenador de GoalKeeper, Somen SinghaChowdhury, envió a este jugador inmensamente talentoso al entrenador de Air India FC , Bimal Ghosh . El fichaje por el club con sede en Mumbai fue el debut de Sharma en la I-League , la liga de fútbol más importante de la India.
En el año 2008, después de haber tenido una serie de exhibiciones brillantes en la portería, los gigantes de Kolkata East Bengal FC se acercaron al joven y finalmente fichó por el equipo. Esta temporada no fue para recordar para Sharma, ya que cayó a la segunda opción ante India no. 1 Subrata Pablo .
Al año siguiente, al enterarse de la disponibilidad de los porteros, Air India FC no perdió tiempo en fichar a Sharma (cedido), convirtiéndose en su segunda etapa con el equipo. Al recuperar su lugar inicial en la I-League, Air India se desempeñó bien y se dijo que Sharma rescató al equipo sin ayuda en numerosas ocasiones.
Al observar su fantástica exhibición, Salgaocar SC no lo pensó dos veces antes de traer al muchacho bengalí a Goa desde Air India . Se decía que el conjunto verde tenía la mejor combinación de porteros de la liga con Karanjit Singh y Arnab Das Sharma en el mismo equipo. En un partido contra el ex club East Bengal , un error de Sharma que permitió que el delantero australiano de East Bengal Tolgay Ozbey anotara provocó una discusión entre él y el entrenador marroquí de Salgaocar, Karim Bencherifa .