Lanzado en dos CD de 27 y 29 minutos respectivamente, You Gotta Problem with Me cubre temas que van desde la codicia corporativa hasta la cultura de las celebridades, la religión, la misoginia, la homofobia y la guerra de Irak . [1] [5] Musicalmente, el álbum abarca desde garage rock en canciones como la canción principal y "Peggy Suicide is a Junkie" hasta baladas acústicas como "Woden" y "A Child is Born in Cerrig-Y-Drudion". [6] [1]