Gunn nació en Thurso , Caithness, Escocia en 1862. Llegó a Canadá el 26 de febrero de 1883 a la edad de 21 años bajo el empleo de la Compañía de la Bahía de Hudson y fue primero a Fort St. John. Los siguientes cinco años de su vida los pasó entre Fort St. John y Dunvegan. En 1888 lo trasladaron a Grouard, Alberta. Desde allí, en 1900, Peter fue a Lac Ste. Anne, su último puesto como factor de la Bahía de Hudson. Allí permaneció 9 años. Se postuló para las elecciones como liberal a la Asamblea Legislativa de Alberta en las elecciones generales de 1909 en Alberta.. Sin otros candidatos de la oposición, fue aclamado para su primer mandato y asistió a algunas de las primeras sesiones del Parlamento después de la formación de la provincia. Se postuló para su segundo mandato en las elecciones generales de Alberta de 1913 , esta vez derrotando al candidato conservador George R. Barker en una contienda muy reñida. Gunn ganó las elecciones por un margen de 43 votos. No volvió a postularse en las próximas elecciones provinciales. Más tarde fue nombrado inspector de pesca del Gobierno del Dominio. Como dominaba el idioma cree, con frecuencia lo llamaban a la corte como intérprete. Fue nombrado Sheriff de Edmonton en 1916. Gunn murió en Alberta en 1927.