Creció en un barrio afroamericano pobre y rudo en el Third Ward de Nueva Orleans conocido como "The Battleground". Benny estuvo entrando y saliendo de las cárceles toda su vida. Además de su trabajo como baterista, Black Benny trabajó como portero y boxeador. Uno de los primeros colega de Louis Armstrong , se hace referencia a Black Benny en la autobiografía de Armstrong y ayudó a cuidar a Armstrong durante su infancia. Sidney Bechet habla sobre Black Benny Williams en su autobiografía, al igual que Jelly Roll Morton en sus entrevistas en la Biblioteca del Congreso.