Nacido en Mantua en diciembre de 1924, Attilio Ruffini completó sus primeros estudios en su ciudad natal. Después de completar la primera parte de sus estudios, se trasladó a Milán donde, habiendo obtenido una beca, se matriculó en la Facultad de Derecho de la Universidad Católica del Sagrado Corazón (entonces dirigida por el padre Agostino Gemelli ), donde logró en los años tras la Segunda Guerra Mundial , el grado.
Ruffini participó activamente en la Resistencia , cooperando con los partidarios de las Brigadas Católicas de las Llamas Verdes y siendo parte del Comité de Liberación Nacional (CLN).
En el otoño de 1944, fue capturado por un grupo de las Brigadas Negras de Mantua y conducido al Cuartel de las Brigadas Negras de Cerese, donde fue sometido a los primeros interrogatorios sobre la actividad antifascista de los católicos de Mantua y, en en particular, de los estudiantes universitarios católicos. Trasladado a la Prisión Obligatoria de Mantua, en Via Poma, luego fue tomado por los alemanes de las SS que lo trasladaron al Forte San Leonardo de Verona . El 13 de diciembre de 1944 fue sometido al último interrogatorio, realizado personalmente por el comandante de las SS alemanas en Italia, el general Karl Wolff . El 19 de diciembre del mismo año fue trasladado a Verona , a la Comandancia General de las SS y allí fue finalmente liberado.
Posteriormente, hasta la Liberación, formó parte de la Brigada partidista "Ivanoe Bonomi" que liberó y presidió la ciudad de Mantua hasta la llegada de las tropas aliadas.
Inició la actividad forense en Mantua en el despacho del abogado Ennio Avanzini , ya miembro de la Asamblea Constituyente y de la Cámara de Diputados . Mientras tanto se convirtió en secretario provincial de la Democracia Cristiana hasta que en 1955 se trasladó a Palermo , donde desde 1946 su tío el cardenal Ernesto Ruffini ejercía su actividad pastoral. En Palermo se casó con Zina Maria La Loggia, hija de Giuseppe La Loggia , entonces presidente de la Asamblea Regional de Sicilia.. Continuó ejerciendo la profesión de abogado hasta 1963, año en el que, habiendo sido electo a la Cámara de Diputados, renunció a todos los deberes profesionales.
Fue miembro de la Cámara de Diputados de 1963 a 1987, en las legislaturas IV, V, VI, VII, VIII y IX. En 1972 se desempeñó en el Gobierno de Andreotti II, como Subsecretario de Estado, primero de Educación Pública y luego de Hacienda, cargo confirmado también en el gobierno de Rumor IV. En 1976 fue nombrado Ministro de Transportes en el Gobierno de Andreotti III y al año siguiente asumió el cargo interino de Ministro de Marina Mercante. En 1977 fue nombrado ministro de Defensa, cargo que también ocupó en gobiernos posteriores Andreotti IV y V.