A la temprana edad de 7 años Larralde ya había escrito canciones con contenido social. A lo largo de los años, escribió varias canciones sobre manualidades, situaciones y personas con las que se había topado en su vida. De ascendencia iraquí y vasca , José Larralde ha sido albañil, trabajador rural, soldador, mecánico, guitarrista y compositor.
Algunas canciones de José fueron publicadas por Jorge Cafrune en su LP Jorge Cafrune (1967). En 1967 Larralde graba su primer LP de una serie de más de 30 editados en Argentina: Canta José Larralde
Larralde no es tan conocido como otros artistas del folclore argentino por su rechazo a las promociones y concentraciones masivas. No obstante, su canto traspasó las fronteras nacionales y triunfó en países como Alemania, Australia, México, Brasil, Uruguay , Paraguay , Chile y España, entre otros. Sus letras tratan sobre injusticias e inequidades sociales y políticas.
Larralde también debutó como actor en la película argentina Santos Vega (1972). Su versión de Quimey Neuquén , compuesta originalmente por Marcelo Berbel y Napoleón Milton Aguilar, fue reeditada por Chancha vía Circuito y ha sido exhibida en la serie de televisión de AMC Breaking Bad , en el episodio Buried .