Atwater, segundo hijo de Charles y Lucy C. (Root) Atwater, nació en New Haven, Connecticut , el 2 de enero de 1815. Se graduó de Yale College en 1834. Después de graduarse, pasó un año en el Seminario Teológico de Princeton . pero en 1835 se convirtió en miembro de una firma de tenderos mayoristas en Filadelfia , donde se casó con Mary, hija de Joseph Montgomery, el 26 de septiembre de 1836. En 1840 regresó a New Haven, donde pasó el resto de su vida. Durante muchos años estuvo ampliamente involucrado en el negocio mayorista de hierro y ferretería, y fue prominente en muchos intereses públicos en New Haven. En 1861 fue representante en la Legislatura de Connecticut y en 1862 miembro de laSenado de Connecticut . Su interés en Birmingham Iron and Steel Works lo llevó a ser un promotor activo del New Haven and Derby Railroad , del cual fue durante mucho tiempo tesorero. En 1872 fue el candidato demócrata a teniente gobernador , y dos años más tarde fue nominado por el partido Greenback para el cargo de gobernador .
Murió en New Haven de la enfermedad de Bright , después de una semana de enfermedad, el 6 de diciembre de 1891, a los 77 años.
Su esposa murió el 5 de julio de 1855 y el 15 de octubre de 1856 se casó con su hermana, Emily Montgomery, quien murió en octubre de 1885. Le sobrevivieron seis hijos: un hijo y dos hijas del primer matrimonio, y dos hijas y un hijo por segundo. La hija menor es la esposa de David Daggett y el hijo menor se graduó en la Escuela Científica de Sheffield en 1879.