Fisherman fue criado y corrido por Cornelius Vanderbilt Whitney , un miembro de la prominente familia de carreras de caballos Whitney . Él estaba fuera de la yegua Crawfish y engendrado por Phalanx de Whitney, el ganador del Belmont Stakes de 1947 votado Campeón Americano Caballo macho de tres años .
Enviado a la pista de carreras a los dos años, Fisherman ganó varias carreras para su grupo de edad, incluido el importante Champagne Stakes . A pesar de las actuaciones de Fisherman en 1953, en la votación para el campeón estadounidense Two-Year-Old Colt terminó detrás de Hasty Road en una encuesta importante y de Porterhouse en las otras dos.
En 1954, con el jinete regular Hedley Woodhouse , Fisherman, de tres años, ganó el Gotham Stakes . En la serie de la Triple Corona de EE.UU. terminó séptimo en el Derby de Kentucky y no corrió en el Preakness Stakes . Pero, en el Belmont Stakes que siguió, quedó segundo detrás de High Gun . A partir de ahí, Fisherman ganó dos carreras muy importantes. Primero, ganó el Travers Stakes en el hipódromo de Saratoga y luego, tras la retirada de un High Gun lesionado, CV Whitney fue invitado a correr Fisherman en el Washington, DC International Stakes de noviembre . En la milla y mediaEn una carrera de peso por edad sobre el césped en el hipódromo de Laurel Park en Laurel, Maryland , se enfrentó a caballos mayores y algunos de los mejores de Europa, incluido el potro de la reina Isabel, Landau , y la favorita de las apuestas , la potranca francesa , Banassa . Montado por Eddie Arcaro , Fisherman se mantuvo a una distancia sorprendente del líder antes de tomar la delantera y aguantar una embestida en la recta final de Banassa para ganar la carrera.
En 1955, los pescadores continuaron ganando carreras en Nueva York, capturando el Excelsior Handicap y obteniendo un segundo puesto en el John B. Campbell Handicap . Animado por la actuación sobre hierba de Fisherman y otro de sus mejores corredores, Career Boy de tres años , CV Whitney decidió enviar a los dos caballos a competir en el Prix de l'Arc de Triomphe de 1956 en el hipódromo de Longchamp en París. Francia. Fisherman terminó con el tablero con Career Boy ocupando el cuarto lugar detrás del ganador, Ribot , uno de los mejores caballos en la historia de las carreras europeas.