En 1957, el objetor de conciencia de toda la vida, Rumney, eludió el Servicio Nacional y huyó en Europa continental , fue uno de los cofundadores de la Asociación Psicogeográfica de Londres . Esta organización, junto con COBRA y Lettrist International , participó en la formación de la Internacional Situacionista . Entre los presentes en la fundación en el pueblo italiano de Cosio d'Arroscia estaban Walter Olmo , Michèle Bernstein (más tarde su segunda esposa), Asger Jorn y Guy Debord.. Sin embargo, en el plazo de siete meses, Rumney había sido "amablemente" expulsado de la IS por Debord por supuestamente "no entregar un informe psicogeográfico sobre Venecia a tiempo".
Rumney pasó gran parte de su vida viviendo como un vagabundo, y fue descrito como un 'recluso' y una 'puta de los medios', viendo su existencia como una 'aventura permanente y un experimento sin fin'. Rumney se casó con Pegeen Guggenheim , la hija de Peggy Guggenheim . Se movió, como su amigo de Guy Atkins dijo, "entre la miseria y la opulencia casi absurdo. Uno lo visitó en un cuarto sórdido en Londres 's de la calle Neal , en una casa compartida con zona de Down-and-outs. A continuación, se podría encontrarlo en Harry's Bar en Venecia , o en una inauguración de Max Ernst en París . Parecía tomar la pobreza con más ecuanimidad que la riqueza ".