Atwater, único hijo sobreviviente de Elihu y Julia (Thompson) Atwater, nació en New Haven , Connecticut, el 28 de mayo de 1816.
Se graduó de Yale College en 1836. Después de graduarse, enseñó durante un año en una familia en el condado de Oldham, Kentucky . En 1837 ingresó a la Yale Divinity School y completó un curso de estudio de tres años.
El 24 de noviembre de 1841, fue ordenado pastor de la Iglesia Congregacional en Ravenna, Ohio , cargo al que renunció el 1 de julio de 1849. Luego pasó un año viajando al exterior, y el 3 de febrero de 1852, fue instalado en la Iglesia Congregacional. Church en Salmon Falls, en el municipio de Rollinsford , NH Fue despedido de este cargo el 3 de noviembre de 1857, cuando regresó a New Haven. Unos meses más tarde emprendió una empresa misionera en la parte este de la ciudad, que resultó después de años de paciente labor en la organización de una iglesia (la Iglesia de Davenport) de la cual fue instalado pastor el 22 de abril de 1863.
Se retiró de este servicio el 14 de junio de 1870, pero continuó residiendo en New Haven, parcialmente dedicado a labores literarias, hasta su muerte. En 1887 se fue a Florida a pasar el invierno, y murió allí, en el pueblo de Hawthorn , muy repentinamente, de un ataque de apoplejía , el 2 de diciembre, a los 72 años.
Se casó el 9 de agosto de 1844 con Rebecca H., hija del diácono David Dana, de Pomfret, Vermont , quien le sobrevivió. Su único hijo murió en la infancia.
Publicó en 1873 un registro genealógico de los descendientes en la línea masculina de David Atwater , uno de los plantadores originales de New Haven, Connecticut, hasta la sexta generación . (64 pp 8vo), también en 1875 una Historia y Significado del Sagrado Tabernáculo de los Hebreos (448 pp 8vo), y en 1881 una Historia de la Colonia de New Haven (611 pp 8vo) Esta última obra elaborada determinó el más empresa seria que ocupó tres o cuatro años de su vida posterior: la edición de una Historia de la ciudad de New Haven , que se publicó en 1887 (702 pp. 8vo), y en la que él mismo fue el principal colaborador.