La banda siempre ha tenido una actitud permisiva con los fanáticos que hacen grabaciones piratas de sus shows en vivo, siempre y cuando nadie intente lucrar económicamente con ellos. Por lo tanto, hay muchas grabaciones en vivo no oficiales que se intercambian entre los fans.
En 2002, el álbum de Jason Ringenberg All Over Creation incluía una canción coescrita por Ginger y Jason llamada "One Less Heartache". Esto se grabó en 2001 con la formación de Wildhearts de Ginger, CJ, Danny y Stidi actuando como banda de acompañamiento de Jason. Una segunda canción, una versión de "Jimmy Rodgers Last Blue Yodel", grabada al mismo tiempo, fue lanzada más tarde en la colección de Jason Ringenburg Best Tracks and Side Tricks 1979-2007 .
La banda de la misma formación también ha grabado una versión de "Wild Zero" de la banda japonesa Guitar Wolf que aparece en I Love Guitar Wolf Very Much , un tributo a Guitar Wolf.
La banda también hizo una versión de " Pump It Up " de Elvis Costello . Esto se incluyó en el álbum recopilatorio de rock Corrosion en 2000.
A partir de agosto de 2009, la banda lanzó dos pistas exclusivas en su sitio web para su descarga gratuita. El primero, "Borderline", fue lanzado alrededor de la Navidad de 2008 como regalo de la banda. El segundo, "The Snake, The Lion, The Monkey and The Spider", fue lanzado el 15 de agosto de 2009, como adelanto del nuevo álbum ¡Chutzpah! . Desde entonces, la pista ha aparecido en el EP ¡Chutzpah! jnr. .