Atterbury estudió el clavicémbalo, la composición y la armonía en el tiempo libre que podía dedicar a su negocio, que se desarrollaba en Turn Again Lane, Fleet Market . Adquirió un dominio considerable de la música y, a la muerte de su padre, que se encontraba en una situación relativamente acomodada, abandonó su negocio y se retiró a Teddington . Obtuvo varios premios del Catch Club por sus glees y fue nombrado músico ordinario de George III .
El 15 de mayo de 1765, Atterbury fue elegido miembro intérprete de la Sociedad Madrigal . En 1770, parece haber estado relacionado con Marylebone Gardens , ya que pagó a Chatterton cinco guineas por los derechos de autor de 'The Revenge' el 6 de julio del mismo año en que se realizó la burletta . El 5 de mayo de 1773, produjo en el teatro Haymarket un oratorio , 'Goliah', que fracasó desastrosamente, aunque luego se repitió en West Wycombe el 13 de agosto de 1775, con motivo del entierro del corazón de Paul Whitehead en el mausoleo. de Lord Le Despencer . 'Goliah' también se interpretó en el Festival de Música Trienal de Birmingham en 1784.[1]
En 1784, Atterbury cantó en el coro de la conmemoración de Handel , y en 1787, en el establecimiento del club glee en Newcastle Coffee House , Castle Street, Strand, su nombre aparece como uno de los miembros originales. En septiembre de 1790 se casó con la señorita Ancell, de Downing Street . En ese momento todavía vivía en Teddington, pero su imprevisión lo obligó a mudarse a Marsham Street , Westminster , y a dar conciertos para ayudar a sus finanzas. Se dice que murió en medio de uno de estos conciertos, el 11 de junio de 1796.