Hijo de un profesor de filología alemana en Kiel, Kauffmann estudió historia del arte en las universidades de Múnich, Berlín y Kiel , donde se doctoró en 1919 con una tesis sobre el arte de Rembrandt . En 1922, completó su Habilitationsschrift sobre Albrecht Dürer con Adolph Goldschmidt en la Universidad de Berlín .
Durante algún tiempo, Kauffmann trabajó en la Gemäldegalerie Berlin con Wilhelm von Bode y en la imprenta de La Haya , donde fue asistente de Cornelis Hofstede de Groot . En 1924 trabajó en el Kunsthistorisches Institut alemán en Florenz . De 1936 a 1956 fue profesor y catedrático de historia del arte en la Universidad de Colonia . En 1957, se trasladó a la Universidad Libre de Berlín , donde fue nombrado primer profesor de historia del arte después de la Segunda Guerra Mundial. Se retiró en 1964.
En 1964, Kauffmann realizó una investigación en el Instituto de Estudios Avanzados de Princeton, Nueva Jersey , y en 1966 fue profesor honorario en la Universidad de Harvard , Cambridge, Massachusetts . También fue miembro de la Royal Society of Arts de Londres. Pasó sus últimos años en Bonn .
Además de los libros que escribió, publicó muchos ensayos de historia del arte en prestigiosas revistas de arte alemanas, principalmente sobre obras maestras del arte.
Entre otros, Günther Binding y Martin Warnke fueron sus alumnos. Su hijo Georg Kauffmann también fue historiador del arte.