By Surprise comenzó en 2007 lanzando un EP titulado 478 a través de Kat Kat Records. [2] En 2009, By Surprise lanzó un split de 7" con Hightide Hotel a través de Runner Up Records. [3]
En 2011, By Surprise lanzó su primer álbum de larga duración Mountain Smashers a través de Topshelf Records. [1]
En 2015, Suburbia Records lanzó un box split con una división entre By Surprise y Broadcaster. [6]