Hong Kong se formó originalmente en Nueva Orleans , pero se estableció más después de reagruparse en Brooklyn . Son conocidos por mezclar un sentimiento de la década de 1960 con la sensibilidad del indie rock moderno . También han sido comparados con Blondie . En 2000, la banda lanzó su primer álbum, el instrumental Lights At Night , que incluía un sonido post-rock que se volvería mucho menos evidente en los esfuerzos futuros del grupo. 2003 vio el lanzamiento de Rock The Faces , que Allmusic dijo que "es pop de chatarra en su máxima expresión. Construido a partir de partes de varias grandes bandas y artistas, brilla como un artefacto completamente nuevo" ( enlace ).
En enero de 2005, The Hong Kong entró en el estudio para grabar con la producción de Ric Ocasek de The Cars . Poco después, firmaron con su sello, Inverse Records. Que Ocasek tomó a la banda bajo su ala se evidenció cuando lo respaldaron en shows en vivo, como una presentación en septiembre de 2005 en CBGB .
En 2006, la banda lanzó un video de una canción llamada "Tongue-Tied". El video presentaba a Culpepper con Dean Wareham ( Luna / Galaxie 500 ) como Bonnie Parker y Clyde Barrow .