Leaving Rouge lanzó Collected Songs poco después de la formación de la banda en 2002. El álbum de diez canciones contó con cerca de veinte músicos, siendo la única constante el vocalista Sean Hoen. Antes de formar Leaving Rouge, Hoen había liderado Thoughts of Ionesco, una banda de noise-core con sede en Detroit a la que Alternative Press se había referido como "la máxima expresión del dolor a través del sonido". Según un artículo de 2004 en Real Detroit Weekly, Hoen afirmó que su cambio en la dirección musical provocó el escepticismo de los fanáticos de Thoughts of Ionesco , y que la banda tuvo dificultades para encontrar una audiencia. Citó a Red House Painters y Nick Drake como las principales influencias para el sonido de la banda.
Un EP homónimo en el sello de Detroit Down Peninsula Audio siguió en 2003, y la banda firmó con el sello independiente Greyday Productions de Portland, OR en 2004. La banda lanzó un segundo EP titulado White Houses. El EP fue elogiado por fuentes tan diversas como Harp Magazine y Playgirl Magazine. Un segundo álbum de larga duración, Elsewhere, fue lanzado el 21 de marzo de 2006. Una desviación de los tonos más experimentales de White Houses, Elsewhere .recibió críticas mixtas y la banda se separó antes de fin de año. Sobre el álbum, Nick Raggett de All Music Guide escribió: "En comparación con el sonido más estirado y reflexivo de la versión anterior del grupo, aquí todo es mucho más directo, con el objetivo de reproducirlo en una estación de radio que podría no existir pero probablemente debería". Continuó diciendo que, "La majestuosa 'Sleep Now Forever', con algunas figuras de guitarra absolutamente maravillosas en particular, es la elección del álbum. Si hay algo extraño en Elsewhere , podría ser su mezcla, a menudo casi suena como una copia en casete fangosa de un maestro más claro, o como si debería estar en el fondo de una escena de película. Sin embargo, no es constante, y con el tiempo suena más como la elección artística que claramente debía ser.
Hoen y el miembro de Leaving Rouge, Nick Marko , tocaron simultáneamente en The Holy Fire de 2003 a 2006. La banda firmó con el sello independiente de California The Militia Group . Durante este tiempo, Leaving Rouge fue en gran medida un proyecto paralelo.
Durante su carrera, Leaving Rouge abrió para Ted Leo, The Appleseed Cast, The Constantines, Kings of Convenience, Karate y varios otros actos "indie". Sin embargo, dejar a Rouge nunca funcionaría fuera de Michigan.