Ambos padres de Herbert eran descendientes de Trinidad . Trabajó en una refinería de plata y oro cuando era joven, tocando en conciertos locales en clubes nocturnos y hoteles de Nueva York en su tiempo libre. Dejó la industria en 1935 para unirse a la banda de Eddie Williams , y poco después fundó su propia banda, The Rhythm Masters. En las décadas de 1930 y 1940 trabajó como acompañante de músicos como Pete Brown , Coleman Hawkins , Hot Lips Page y Sidney Bechet .
En la década de 1950, Herbert se retiró parcialmente como músico y comenzó su propio negocio de exterminio de plagas. Tocó en varios conjuntos de revival de swing jazz y realizó una gira con Lem Johnson en Polonia en la década de 1960.
Herbert le enseñó a su sobrino , el baterista Herb Lovelle , a quien insistió que debería saber leer partituras, algo que los músicos negros no sabían entonces. Le consiguió a su sobrino su primer concierto con Hot Lips Page. También enseñó al baterista Shelly Manne , según Herb Lovelle.