Era el hijo menor de Mary Jellett Duff (1838 - c.1885) y Francis Shubael Smith I (1819-1887). Francis se asoció con Francis Scott Street y comenzó la editorial Street & Smith . Ormond tuvo los siguientes hermanos: Francis Shubael Smith II (¿1854–?); Cora A. Smith (1857–?) que se casó con George H. Gould; y George Campbell Smith (1859–?). Se graduó de la Universidad de Harvard en 1883 y se unió a su padre en Street & Smith después de graduarse. El 25 de diciembre de 1899, Ormond se casó con Grace Hewitt Pellett y tuvieron un hijo: Gerald Hewitt Smith, quien asistió a la Universidad de Princeton .. Ormond fue miembro de la Sociedad de la Guerra de 1812, la Sociedad de San Nicolás y la Sociedad de Guerras Coloniales. Murió en 1933 en Manhattan .