Comenzando su carrera actuando en los cafés y clubes de la ciudad de Nueva York, Rimbaud firmó en 1990 con un sello discográfico francés. Su álbum debut Mutiny in the Subway fue grabado en el centro de la ciudad en Baby Monster Studios con la ayuda de Andrea Pennisi en la percusión y Lee Kostrinsky en el bajo .
Rimbaud se mudó a París en 1991, grabó su segundo álbum Funeral Lover tanto en Nueva York (Baby Monster Studios) como en París (Mixit Studio). En 1993, Elliott Murphy produjo el tercer CD, Red Light. Las canciones originales incluyen "Romantic Depressed" y "You Looked Good in Hell". Al regresar a vivir a Nueva York en 1994 (donde ha residido desde entonces), Rimbaud continúa escribiendo y actuando con su banda, The Subway Sun. Rimbaud lanza Graffiti Trees en 1997.
En 2002, Rimbaud grabó un álbum acústico, Beast of Broadway con algunas canciones producidas por Brian Ritchie de Violent Femmes . Estas canciones fueron escritas en Brasil y Nueva York y grabadas en el bajo Manhattan . 2003 vio el lanzamiento de Light of Day, un tributo a Bruce Springsteen , con la interpretación de Rimbaud inspirada en el rockabilly de Atlantic City . También actuó en el Stone Pony con otros artistas para ayudar a promocionar el CD. Entre 2004 y 2008, Rimbaud continuó grabando y tocando con su banda The Subway Sun, esto coincide con exhibiciones de sus pinturas, una serie de más de 50 retratos de Lower East Siders, retratos deRevolucionarios estadounidenses , franceses y haitianos y pinturas de Brasil.
Rimbaud ha sido comparado con Bruce Springsteen, Elvis Costello y Gene Vincent , entre otros, pero su estilo de composición y su voz siempre han sido únicos. Aunque su carrera se ha mantenido en la clandestinidad, ha seguido siendo un compositor prolífico, a veces comentando temas de actualidad con sus canciones como; "Stimulus Baby", "Katrina viene otra vez", "Ahorrar para ir a la bancarrota" y "El ataque de nervios de la madre naturaleza". También habla sobre la vida en Nueva York, "El rey de Staten Island" y las relaciones, "Haces el amor como la guerra", "Novia perdida y encontrada". Como intérprete, ha realizado giras por Europa y Estados Unidos con su banda y como solista.
Rimbaud exhibe regularmente sus pinturas, sus temas incluyen paisajes urbanos, dinosaurios, escenas del metro y bailarines burlescos. En 2010 lanza un CD de 16 pistas, What Was I Thinking? y video musical de su canción "Miami High". Una caja de 6 CD, "An Underground Life in NYC" también fue lanzada en Europa en 2010, distribuida por Sony .
En el verano de 2011, Rimbaud lanza su séptimo álbum, Coney Island Wave, que incluye los sencillos "Dance with A Mermaid" y "Every One Needs a Daddy" con un video filmado en Nashville . También en 2011, Rimbaud lanzó un álbum de versiones, "Can't Judge a Song By Its Cover", donde interpreta a Phil Ochs , The Beatles , Bob Marley , Jobim , entre otros. También publicó "Soundtrack for a Human Being", una compilación de sus canciones, incluida la nueva "One Percent Feeling Lonely". En 2012, la canción de Rimbaud "Saving Up To Go Bankrupt" se incluyó en la colección "Occupy This Album", en beneficio del movimiento Occupy Wall Street .El huracán Sandy y el movimiento Occupy se lanzaron en febrero de 2013. Rimbaud hizo varios videos musicales para "Night Rainbow", incluidos "Rainbow Tonight", "Sandy Must be Crazy", "Jackhammer Jones" y "Robin Hood in Reverse". En 2014, Rimbaud lanzó una versión original del clásico "Stairway to Heaven" de Led Zeppelin como sencillo, incluido un video musical. También grabó una versión del éxito de la década de 1950 "Love Is Strange". En septiembre de 2014, Rimbaud lanzó su último álbum de 10 canciones, "Put That dream in Your Pipe and Smoke It", grabado en la ciudad de Nueva York y publicado en Subway Sun Records. El primer video musical del álbum se llama "Frequent Flyer Subway Rider".