Summer Hymns se formó en 1997 por el cantante y guitarrista Zachary Gresham y el baterista Philip Brown, ambos ex favoritos de Atenas de mediados de la década de 1990, Joe Christmas. El guitarrista Bren Mead, de Masters of the Hemisphere, el bajista Derek Almstead y la teclista Dottie Alexander, ambos de Of Montreal, y el multiinstrumentista Adrian Finch completaron la formación inicial. El sencillo debut de Summer Hymns, "Half Sick of Shadows" b / w "Lucky" fue lanzado por Made in Mexico en 1999.
El primer álbum de larga duración de Summer Hymns, Voice Brother and Sister, fue lanzado por Misra Records con gran éxito de crítica en 2000. A Celebratory Arm Gesture fue lanzado en la primavera de 2001. Un año después, Summer Hymns experimentó un cambio de personal y estuvo integrado por Gresham, Brown, y Matt Dawson (bajo) y Matt "Pistol" Stoessel (guitarra de pedal de acero). La nueva formación de Summer Hymns grabó el tercer álbum de la banda, Clemency, con Mark Nevers de Lambchop en 2003. Las nuevas canciones escritas en 2003 mientras esperaban el lanzamiento de Clemency se recopilaron en un EP, Value Series, vol. 1: Fools Gold, lanzado a finales de 2003. Dos años más tarde, en noviembre de 2006, después de otro importante cambio de personal, Summer Hymns lanzó Backward Masks, nuevamente en Misra. Contó con el debut del exguitarrista de Pine State, Chris Riser, en el bajo y los teclados.
El espectáculo en vivo del trío principal a menudo se complementa con músicos adicionales, incluidos Brian Nuse en guitarra y percusión, Jimmy Hughes (Elf Power, Folklore) en guitarra, David Specht (Quiet Hooves) en teclado y Aaron Jolley (Folklore, Dark Meat, The Lickety Splits) en trompetas y percusión.