Herman Duryea construyó una finca en Old Westbury en Long Island , Nueva York conocida como "Knole". Completado en 1903, fue diseñado por Carrere y Hastings . En 1910 vendió la propiedad a Henry Phipps , quien la compró como regalo de bodas para el matrimonio de su hija Helen con Bradley Martin.
Herman Duryea también poseía una gran propiedad en Tennessee donde criaba perros y gallos de pelea . En 1902 comenzó a criar caballos de carreras y pronto se convirtió en uno de los principales propietarios de carreras de pura sangre en los Estados Unidos. Sin embargo, cuando muchos estados comenzaron a aprobar leyes contra las apuestas que pusieron fin a la mayoría de las carreras, Duryea trasladó sus operaciones de cría y carreras a Haras du Gazon en Bazoches-au-Houlme , Orne , Normandía , Francia adquirida de Maurice Ephrussi .
Entre los caballos de Duryea estaban Sweeper II , que ganó las 2000 Guineas inglesas en 1912, y Durbar , que ganó el Epsom Derby de 1914 . También era dueño de la yegua nacida en Estados Unidos, Frizette (1905-1929) comprada a su amigo James R. Keene y Payne Whitney . Frizette, nieta de Hindoo , fue una de las matronas de fundación más importantes del siglo XX, entre cuya descendencia se encuentran Seattle Slew y Mr. Prospector . El Frizette Stakes anual en Belmont Park lleva su nombre en su honor.
Una de las otras potrancas muy importantes que corrió bajo los colores de Duryea fue la campeona, Tanya . Nacida en 1902 por William Collins Whitney , fue arrendada junto con varios otros caballos para competir por Duryea en 1904 cuando tenía 2 años y ganó el Hopeful Stakes , el National Stallion Stakes y el Spinaway Stakes . Desafortunadamente para Herman Duryea, fue comprada ese otoño por el hijo de Whitney, Harry Payne Whitney , ya que es mejor conocida por su victoria en la primavera siguiente en Belmont Stakes .
Después de que Herman Duryea muriera en 1916, su viuda mantuvo algunos de los sementales de la granja de cría francesa, pero gran parte de la operación finalmente se vendió a Marcel Boussac .
El Sr. Duryea fue el benefactor de la Biblioteca Pública de Navesink y el teatro comunitario Monmouth Players, ambos ubicados en Navesink, Nueva Jersey .