Smith nació en Dundee , Escocia. Comenzó su carrera a los 16 años en First Division Burnley . Después de 11 años en el Burnley, pasó breves períodos en el Brighton y el Bristol City antes de retirarse para comenzar a entrenar en el Sheffield Wednesday . Siguieron otros períodos como entrenador en el Newcastle United y el Arsenal .
Su primer trabajo administrativo fue en la Cuarta División de Mansfield Town en 1974, donde se evitó la reelección. La temporada siguiente fue un triunfo, Mansfield se llevó el título por seis puntos sin perder un partido en casa. La temporada siguiente vio a Mansfield luchar, y parecía que regresarían de inmediato a la Cuarta División, pero una racha de diecinueve juegos invictos hizo que Mansfield sobreviviera cómodamente en el undécimo lugar. Sin embargo, Smith renunció poco después del final de la temporada luego de una disputa con los directores del club.
Su siguiente trabajo fue en el Southend United donde en su segunda temporada volvió a conseguir el ascenso desde Cuarta División, esta vez como subcampeones hasta Watford en 1978. Siguieron dos temporadas de lucha que terminaron en el descenso. Nuevamente, el ascenso se logró al primer intento, esta vez como campeones, con nueve récords del club batidos en el proceso. Luego se logró la seguridad de la Tercera División y el trabajo de Smith estuvo asegurado hasta que una adquisición lo dejó fuera.
Siguieron dieciséis meses fuera del fútbol vendiendo seguros y solicitando todos los puestos vacantes de entrenador. Smith luego asumió el cargo en Third Division Plymouth Argyle en diciembre de 1984 de Johnny Hore y logró la decimoquinta posición en su primera temporada parcial. Al año siguiente consiguió el ascenso a Segunda División como subcampeón hasta el Reading . En 1987, Smith llevó a Plymouth a la séptima posición en el segundo nivel del fútbol inglés, perdiéndose por poco los play-offs de final de temporada. Esta fue una de las posiciones finales más altas del club y se logró con un presupuesto de juego modesto.
El estatus legendario de Smith entre los fanáticos de Argyle se vio favorecido por su colorida personalidad, que incluía usar poesía para describir el desempeño de su equipo y usar su gorra de tartán para la buena suerte.
El verano de 1988 resultó en otro movimiento, de regreso a Escocia y al club de su ciudad natal, Dundee . Sin embargo, su etapa en Dundee no fue feliz y fue despedido después de solo seis meses, con el club en problemas de descenso.