En 1828 fue elegido bibliotecario de la Guildhall Library , que había sido restablecida recientemente por la Corporación de Londres . Preparó una segunda edición del catálogo en 1840 y se retiró en 1845. Murió, a los 80 años, el 18 de noviembre de 1851, en 40 Brunswick Street, Haggerston ; le sobrevivió Eliza Herbert, probablemente su hija.
Con Edward Wedlake Brayley produjo en 1803 un volumen de cuentos y poemas, titulado Syr Reginalde, o la Torre Negra; un romance del siglo XII (Londres), y en 1806 una historia del Palacio de Lambeth , que data de Globe Place, Lambeth. Otra edición de este último trabajo se publicó para los ilustradores en el mismo año. También estuvo asociado con Robert Wilkinson en la producción de Londina Illustrata , un relato ilustrado de edificios antiguos en Londres y Westminster en dos volúmenes (1819-1825). Según las planchas de esta obra, vivió en Marsh Gate, Lambeth, en 1808–189.
Herbert es mejor conocido por su Historia de las doce grandes compañías de librea de Londres , (1836–7, 2 vols). Todas sus obras están ricamente ilustradas. También publicó:
Sus colecciones, principalmente en manuscrito, para la historia de las compañías de librea, capillas y monasterios de Londres, se conservaron en la Biblioteca Guildhall.