Bauge se inició en el deporte a la edad de ocho años, jugando al fútbol . Su padre lo inscribió en la escuela de ciclismo de Aubergenville . En ese momento participó en carreras de ruta, ciclismo de montaña y ciclismo de trial.
En 2000 se unió a un club ciclista en Yvelines. Consciente de sus cualidades y alentado por su padre, poco a poco abandonó el ciclismo de ruta para concentrarse en el ciclismo de pista. en julio de 2001, participó en el campeonato nacional francés de cadetes (15-16 años) de velocidad, donde fue derrotado en la final por Guillaume Blot.
En noviembre de 2001 se unió a la Unión Atlética de Creteil y se dedicó definitivamente a la pista. Al año siguiente, a los 17 años, ingresó en el Instituto Nacional del Deporte y la Educación Física de París.
Se unió al equipo de velocidad junior de Francia en 2002. Con Mickaël Murat y Francois Pervis, se convirtió en campeón mundial en la disciplina de velocidad por equipos junior (17-18 años). Con su entrenador Gerard Quintyn, compitió en los Juegos Olímpicos de Atenas en 2004. Bauge se especializó en la primera vuelta del sprint por equipos.
En enero de 2012 se anunció que Baugé había recibido una suspensión retroactiva de 12 meses por faltar a las pruebas de dopaje. Esto significó que todos sus resultados para 2011 fueron anulados. Esto elevó al británico Jason Kenny a la posición de medalla de oro en el evento de Sprint en el Campeonato Mundial de 2011, además de darle al equipo alemán de Sprint la medalla de oro en la misma competencia. [3]
Baugé recuperó el título del Campeonato Mundial de Sprint al vencer al campeón defensor Jason Kenny en la final del evento de 2012. Baugé ganó dos medallas de plata olímpicas, en la velocidad por equipos (perdiendo ante Gran Bretaña en la final por segundo juego consecutivo) y en la velocidad individual (siendo derrotado por Kenny en la final). [2]