Torgrim Castberg nació en Skien como hijo del agrimensor de aduanas y político Johan Christian Tandberg Castberg (1827-1899) y su esposa Hanna Magdalene Frisak Ebbesen (1839-1881). [1] Tenía varios hermanos y hermanas, [2] incluido el notable político Johan . [3]
Su abuelo paterno Peter Hersleb Harboe Castberg fue sacerdote y político. Además, Torgrim era primo hermano del escultor Oscar Ambrosius Castberg . [3] Por el lado materno, era nieto de Jørgen Tandberg Ebbesen y sobrino de Just Bing Ebbesen , [4] los cuales también estaban involucrados en la política.
Torgrim Castberg se casó con Ida Anker en 1896. [1] Su hijo Johan Christian se convirtió en un destacado ilustrador. A través de Johan Castberg, Torgrim era el tío del profesor Frede Castberg . [3]
Desde 1900 Torgrim Castberg fue concertino de la Orquesta Filarmónica de Bergen . En 1928 fundó la Academia de Música de Bergen . [5]