El club entró en competiciones oficiales soviéticas en la Copa Soviética de 1936 como Lokomotiv Kharkov. Se formó a partir del equipo Krasnyi Zheleznodorozhnik (Red Rail Worker) que existió en Kharkiv desde 1923.
En las competiciones de liga, el equipo apareció en 1938 jugando en el primer grupo del campeonato SSR de Ucrania y reemplazando al equipo "Stalinets" que representaba a la fábrica electromecánica.
Después de la Segunda Guerra Mundial , en 1945 el equipo fue admitido en las competiciones soviéticas de segundo nivel conocidas como "Vtoraya Gruppa" (Segundo Grupo) junto con otros dos equipos de la República Socialista Soviética de Ucrania , Kharchovyk Odesa (hoy Chornomorets) y Shakhtar Stalino.
Lokomotyv fue un participante de la Top League soviética y, a veces, se lo considera erróneamente como un predecesor directo de Metalist Kharkiv .