Era el hijo mayor de Silas O. Smith de Rochester, Nueva York , uno de los primeros residentes del condado de Monroe, Nueva York .
Comenzó su vida universitaria en Hamilton College , pero se transfirió a Yale College al comienzo de su tercer año. Se graduó de Yale en 1839. Después de dejar la universidad, estudió derecho, fue admitido en el colegio de abogados de Rochester y se dedicó a la profesión que eligió, y también dedicó mucho tiempo a la política como líder del partido Whig en su vecindario. Fue miembro de la Asamblea del Estado de Nueva York en 1849 y 1850, y posteriormente fue ayudante general del estado bajo el gobierno de Washington Hunt .
Después de un tiempo abandonó su carrera legal y política para estudiar para el ministerio de la Iglesia Episcopal Protestante . Habiendo sido admitido a las órdenes, fue nombrado ministro de una iglesia en Albion, Nueva York , donde permaneció dos años. Luego renunció a su cargo y visitó Europa. A su regreso se convirtió en Rector de la Iglesia de San Miguel, en Germantown, Pensilvania . Mientras estuvo allí, fue nombrado capellán del ejército regular y asignado a cargo del Hospital Militar en Germantown. Como su salud se vio afectada por estos dos compromisos, renunció a su rectorado y se dedicó al hospital hasta que la enfermedad lo postró por completo.
Murió en Germantown, Pensilvania en diciembre de 1863. Sus restos fueron trasladados a Rochester para su entierro.