Bailey nació en Nottingham el 31 de julio de 1785. Recibió su educación en parte en una escuela diurna en su ciudad natal y en parte en un internado en Gillingham, Yorkshire . Posteriormente se dedicó durante algún tiempo al negocio de calcetería de seda .
Políticamente liberal, se presentó en 1830 como candidato a la representación del distrito de Nottingham, aunque finalmente no tuvo éxito. En 1836 fue elegido concejal y continuó como miembro durante siete años.
En 1845-6 se convirtió en propietario y editor del Nottingham Mercury , pero sus lectores consideraron que sus opiniones eran demasiado moderadas . La circulación del periódico declinó, y en 1851 la masa de suscriptores se retiró en protesta por las opiniones de Bailey respecto al error original del Proyecto de Ley de Títulos Eclesiásticos y sus profecías de su inevitable fracaso. Al año siguiente, la revista se declaró en quiebra.
En 1830, compró una mansión en Basford, cerca de Nottingham, donde pasó los últimos años de su vida, dedicado a actividades literarias y a la formación de una colección de libros y grabados.
Murió en Basford el 23 de octubre de 1856. Su hijo, Philip James Bailey , es autor de Festus y de otros poemas.