" Keep on My Side " fue el cuarto sencillo de Ammonia de su segundo álbum Eleventh Avenue . [1] Fue lanzado en mayo de 1998 en Murmur Records , [2] justo después del lanzamiento del álbum y fue la última canción que la banda lanzó como sencillo antes de separarse.
La canción, junto con las otras canciones del álbum, fue grabada en 1997 en Tarbox Studios [3] en Cassadaga, Nueva York , con el productor Dave Fridmann ( The Flaming Lips , Mercury Rev ). [4] [5] El musicólogo australiano, Ian McFarlane , sintió que el sencillo mostraba "rock melódico similar a bandas británicas como Radiohead o Teenage Fanclub ". [6]