Harrer nació en Görlitz y estudió música en Leipzig e Italia. Desde 1731 trabajó en la capilla-coro del Reichsgraf Heinrich von Brühl . Tras la muerte de Johann Sebastian Bach en 1750, Harrer se convirtió en su sucesor como Thomaskantor en Leipzig, permaneciendo en su puesto hasta su propia muerte en 1755. Compuso mucha música instrumental, incluyendo 27 sinfonías, 24 suites orquestales, 51 dúos de flauta y un número de sonatas para clavecín. También escribió dos misas para coro y orquesta, una misa para voces no acompañadas, 47 cantatas y varios oratorios, pasiones, salmos y motetes.