En noviembre de 1854, fue elegido en la candidatura demócrata (una fusión de Hards y Softs ) como registrador de la ciudad de Nueva York , derrotando al titular Francis R. Tillou . Tras la creación de la Policía Metropolitana en 1857, Recorder Smith se convirtió en uno de los comisionados de la Junta de Policía, junto con el alcalde Fernando Wood y el juez de la ciudad Sydney H. Stuart. Cuando el alcalde Wood se resistió a la nueva fuerza policial, manteniendo en su lugar a la Policía Municipal abolida, Smith emitió una orden de arresto contra el alcalde, lo que condujo al motín policial de la ciudad de Nueva York . En octubre de 1857, Smith fue derrotado por la re-nominación en la boleta de Tammany porGeorge G. Barnard .
Más tarde, Smith dejó Tammany Hall y se unió a las organizaciones demócratas anti-Tammany en la ciudad de Nueva York, como Mozart Hall e Irving Hall . En 1872, Smith fue nominado para fiscal de distrito del condado de Nueva York en la boleta "demócrata nacional".
Smith se casó con Emily F. Sherman y tuvieron once hijos. En el verano de 1896, su esposa murió en un accidente de carruaje tirado por caballos . Smith luego se retiró del bar, vendió su casa y se mudó a una pensión. Smith murió de "gota reumática" en Manhattan . Fue enterrado en la parcela de la familia Sherman en New Baltimore, Nueva York .