Milton tuvo una carrera amateur estelar, habiendo ganado cuatro Campeonatos de los Guantes de Oro de Nueva York . Milton ganó el Campeonato Abierto de 165 lb de 1981 y ganó el Campeonato Abierto de 156 lb en 1982, 1983 y 1984. En 1981, Milton derrotó al futuro campeón mundial Iran Barkley del Knights Community Center en la final para ganar el Campeonato Abierto de 165 lb. Milton detuvo (RSC-2) [ aclaración necesaria ] Anthony Dimasso del Nassau Police Boys Club para ganar el Campeonato Abierto de 156 libras de 1982. En 1983, Milton derrotó a Mark Weinman del Precinto 110 de las Ligas Atléticas de la Policía en la final para ganar el Campeonato Abierto de 156 libras y capturó la plata en los Juegos Panamericanos de 1983 . [1] Milton ganó su cuarto Campeonato de Guantes de Oro de Nueva York en 1984 al derrotar a Jesse Lanton de la Liga Atlética de la Policía del Condado de Rockland en las finales del Abierto de 156 libras.
Conocido como "El mago", [2] Milton se convirtió en profesional en 1985 y tuvo un éxito limitado. Su victoria más notable fue sobre el futuro campeón Gerald McClellan en 1989 en una victoria por decisión en ocho asaltos. [3] La victoria desencadenó una racha que condujo a una pelea contra el poseedor del título de peso mediano del CMB , Julian Jackson , en 1991. La pelea terminó rápidamente, con Jackson anotando un KO en el primer asalto. [4] En 1992, Milton perdió ante Bernard Hopkins por nocaut técnico, [5] y dejó el boxeo profesional para siempre después de perder ante Aaron Davis por nocaut técnico en 1995. [6]