El club participó en las competiciones oficiales soviéticas en la Copa Soviética de 1936 como Lokomotiv Kharkov. Se formó a partir del equipo Krasnyi Zheleznodorozhnik (Red Rail Worker) que existía en Kharkiv desde 1923.
En las competiciones de liga, el equipo apareció en 1938 jugando en el primer grupo del campeonato de Ucrania SSR y reemplazando al equipo "Stalinets" que representaba a la fábrica eléctrico-mecánica.
Después de la Segunda Guerra Mundial , en 1945 el equipo fue admitido en las competiciones soviéticas de segundo nivel conocidas como "Vtoraya Gruppa" (Segundo Grupo) junto con otros dos equipos de la República Socialista Soviética de Ucrania , Kharchovyk Odesa (hoy Chornomorets) y Shakhtar Stalino.
Lokomotyv fue un participante de la Liga Superior soviética y, a veces, se le considera erróneamente como un predecesor directo de Metalist Kharkiv .