A fines de la década de 1940, Alexander comenzó a trabajar con Jimmy McPartland en Chicago, y en 1952 comenzó a tocar en la banda del pianista Marian McPartland . A mediados de la década de 1950 tocó y grabó con la Orquesta Sauter-Finegan y el guitarrista Johnny Smith . En 1956 acompañó a Benny Goodman en una gira por el Lejano Oriente. Más tarde, en la década de 1950, trabajó a menudo con Bud Freeman y Eddie Condon . También tocó con Charlie Ventura , Red Norvo , Clark Terry , Ralph Sutton , Sy Oliver y Doc Severinsen .. Trabajó como autónomo durante la década de 1960 con varias bandas. En la década de 1970 grabó para el productor de jazz Harry Lim y el sello discográfico Famous Door.
Alexander sufrió un derrame cerebral en 1980. Después de un período de recuperación, continuó tocando jazz hasta su muerte en 1988. Murió de insuficiencia cardíaca e insuficiencia renal.