Jugó la mayor parte de su carrera profesional de 18 años con Genoa , apareciendo en casi 300 partidos oficiales durante nueve temporadas, seis en la Serie A.
Nacido en Seravezza , en la provincia de Lucca , Rossi comenzó a jugar al fútbol con el Lucchese en la Serie B , trasladándose para la campaña 1998-1999 al Salernitana , recién ascendido a la Serie A. Después de dos temporadas fichó por la AC Fiorentina (por 17.000 millones de liras ; 8,78 millones de euros en efectivo más contrato de jugador [1] ) y volvió a la primera división, permaneciendo en Florencia durante dos años.
En 2002 Rossi abandonó la Fiorentina por impago de salarios (el club se declaró en quiebra poco después) y fichó por el modesto Como , apareciendo con moderación en su primera temporada y siendo relegado de la máxima categoría .
En 2003-04 , Rossi se unió al Genoa CFC en el segundo nivel, cedido, siendo una figura fundamental desde el principio y anotando ocho goles, la mejor marca de su carrera, en su primer año. Luego regresó a Como, pero regresó a su club anterior en la ventana de transferencia de enero de 2005 después de que expiró su contrato.
El Génova ascendió inicialmente al final de la temporada , como campeón, pero sufrió el descenso a la Serie C1 , y Rossi permaneció en el equipo, que logró el ascenso en 2006. En la campaña 2006-07 se convirtió en capitán del club y el club regresó. a la división uno junto a la Juventus FC , bajo la dirección técnica de Gian Piero Gasperini . La polivalencia del jugador -era capaz de producir tanto de defensa como de centrocampista, en cualquiera de los dos lados- lo convirtió en titular indiscutible, y contribuyó a ese ascenso con tres goles.
El 30 de marzo de 2008, en un partido de Liga ante el Reggina Calcio , Rossi marcó su segundo gol en la máxima categoría, cerrando el marcador en el minuto 90 (2-0, en casa). Solo se perdió cuatro juegos y el club finalmente terminó décimo .