Gilliam nació en Steubenville, Ohio , y comenzó su carrera como jugador universitario en la Universidad de Indiana antes de transferirse a la Universidad Estatal de Virginia Occidental , donde fue un All-American como mariscal de campo .
Gilliam fue entrenador en jefe de fútbol y baloncesto en Oliver High School en Winchester, Kentucky de 1952 a 1954, ganando un campeonato estatal de fútbol en 1954.
Gilliam se unió al cuerpo técnico del entrenador John Merritt en la Universidad Estatal de Jackson en 1955 y se fue en 1957 para convertirse en entrenador en jefe en la Universidad Estatal de Kentucky . Después de compilar un récord de 2–13–1 en el estado de Kentucky, fue entrenador breve en el nivel de la escuela secundaria antes de regresar al personal de Merritt en el estado de Jackson. Siguió al Merritt a la Universidad Estatal de Tennessee , [1] donde, como coordinador defensivo, ayudó a los Tigres a ganar cuatro temporadas invictas y siete campeonatos nacionales de fútbol americano universitario negro en un lapso de 20 años.
Gilliam se desempeñó como entrenador en jefe en el estado de Tennessee de 1989 a 1992, ganando los honores de Entrenador del Año de la Conferencia del Valle de Ohio en 1990.
Gilliam es padre del ex mariscal de campo de los Pittsburgh Steelers , Joe Gilliam , y abuelo del cantante de R&B Joi . Gilliam fue incluido en el Salón de la Fama del Deporte de Tennessee en 2007. En el momento de su muerte, Gilliam residía en Nashville.