Ivarson nació en Chicago, [1] hijo del actor William Ivarson y la actriz Anna Ivarson. [2] Además de Harry, la pareja tuvo un hijo Wictor (nacido en 1893) y una hija Borghild (nacida en 1895). [2] En 1910 la familia vivía en Årstad . [2]
Ivarson estudió cine en Estados Unidos y Alemania. [3] Debutó como director y guionista en Alemania en 1923 con la película Wenn Männer richten bajo el seudónimo de Harry Williams. [4] Continuó su carrera en Noruega con las películas Til sæters (1924), Fager er lien (1925), [5] Simen Mustrøens besynderlige opplevelser (1926), Madame besøker Oslo (1927), [6] y Den glade enke i Trangvik (1927), que fue su última película muda. En la década de 1930, Ivarson se pasó al cine sonoro y, junto con Per Aabel , dirigióJeppe på bjerget en 1933. [7] Dirigió su última película en 1943, el documental Bergen . [8] Ivarson fue el jefe de la oficina de NRK en Bergen durante la Segunda Guerra Mundial.