Herbst nació en Rottweil en el ducado de Württemberg . Su curso universitario, iniciado en el Gymnasium de su ciudad natal, se llevó a cabo en el monasterio benedictino de San Pedro en la Selva Negra y en 1806 Herbst se matriculó en la Universidad de Friburgo . Después de un tiempo dedicado a completar sus estudios matemáticos y filosóficos, dedicó su talento a dominar los idiomas orientales y la ciencia bíblica bajo la tutela de Johann Leonard Hug. De la universidad, Herbst fue, en 1811, al seminario de Meersburg , para prepararse para las sagradas órdenes .y fue ordenado sacerdote en marzo de 1812. Llamado inmediatamente al seminario de Ellwangen para desempeñar el oficio de arrepentido, al mismo tiempo aceptó la cátedra de hebreo y árabe en la recién erigida Universidad de Ellwangen, y dos años más tarde, fue ascendido a la cátedra de lenguas orientales y exégesis del Antiguo Testamento . En 1817, la facultad de teología de Ellwangen fue trasladada a Tubinga , y allí, además de los cursos que ya le habían sido encomendados, Herbst impartió introducción a las Sagradas Escrituras y arqueología bíblica; él también fue convencido ocasionalmente para dar una conferencia sobre el Nuevo Testamentoexégesis, historia de la iglesia y teología pastoral. La nueva facultad de teología, que, con hombres como Johann Sebastian von Drey , Johann Baptist von Hirscher y Johann Adam Möhler en su personal, y alumnos del sello de Carl Joseph von Hefele (1809-1893), estaba ganando una notoria lugar en el ámbito de la erudición.
Su primera publicación fue un volumen titulado: Observationes quædam de Pentateuchi quatuor librorum posteriorum auctore et editore (Gmünd, 1817). Desde la fundación, en 1819, de Tübingen Theol. Quartalschrift , contribuyó constantemente a ello; pero su obra principal, que quedó inconclusa, es una introducción al Antiguo Testamento, que fue completada y editada por su alumno Benedict Welte (1841-1844). En 1832, Herbst fue nombrado bibliotecario jefe de la Royal University; pero quizás debido al exceso de trabajo su salud pronto falló, y murió en Tubinga después de una breve enfermedad.