El mayor de tres hermanos involucrados en carreras de pura sangre, es hijo del fallecido y conocido entrenador de Maryland Richard E. Dutrow, Sr. Hermano del entrenador Rick Dutrow , el hermano menor Chip trabaja como asistente de Tony.
Tony Dutrow creció en el negocio de las carreras y cuando era niño ayudaba en el granero de su padre. Habiendo aprendido a acondicionar caballos, sacó su licencia de entrenamiento y obtuvo su primera victoria en 1975 en Delaware Park Racetrack . Trabajó con su padre durante varios años y luego comenzó en 1985 con el entrenador Bobby Frankel en California hasta que salió solo en 1987.