Paris, Texas se formó en Madison, Wisconsin en diciembre de 1997 por Scott Sherpe, Sam Vinz, Nick Zinkgraf (los tres eran compañeros de cuarto en la universidad en ese momento), Matt Tennessen y Matt Mangan. [2] Grabaron una cinta de demostración de cinco canciones en enero de 1998 en el sótano de Kaia Fischer, bajista de Rainer Maria (y ex compañero de banda de Ezra Pound de Matt Tennessen) y tocaron su primer show en Whole Music Club en Minneapolis con Rainer Maria el mes siguiente en Valentine's Día. [3]
El baterista de Rainer Maria, Bill Keuhn, llamó la atención de Polyvinyl Records sobre el demo de la banda y poco después firmaron un contrato, lanzando un EP homónimo en el otoño de 1998, y un álbum de larga duración So, You Think It's Hot Here? en octubre de 1999. El guitarrista Matt Mangan partió poco después de su lanzamiento y fue reemplazado por Nolan Treolo. [4] El EP Brazilliant siguió en octubre de 2000. [5]
Un amigo que era pasante en New Line Records compartió una grabación de demostración de "Hip Replacement" con los directores del sello, lo que llevó a la banda a firmar y comenzar a trabajar en Like You Like An Arsonist , [6] que se lanzó en 2004 después de una sesión de grabación de ocho meses y la banda se trasladó a Milwaukee .