Red neuronal recurrente
Una red neuronal recurrente ( RNN ) es una clase de redes neuronales artificiales donde las conexiones entre nodos pueden crear un ciclo, lo que permite que la salida de algunos nodos afecte la entrada posterior a los mismos nodos. Esto le permite exhibir un comportamiento dinámico temporal. Derivados de redes neuronales feedforward , los RNN pueden usar su estado interno (memoria) para procesar secuencias de entradas de longitud variable. [1] [2] [3] Esto los hace aplicables a tareas como reconocimiento de escritura a mano no segmentado y conectado [4] o reconocimiento de voz . [5] [6] Las redes neuronales recurrentes son teóricamenteTuring completo y puede ejecutar programas arbitrarios para procesar secuencias arbitrarias de entradas. [7]
El término "red neuronal recurrente" se utiliza para referirse a la clase de redes con una respuesta de impulso infinita , mientras que " red neuronal convolucional " se refiere a la clase de respuesta de impulso finita . Ambas clases de redes exhiben un comportamiento dinámico temporal . [8] Una red recurrente de impulsos finitos es un gráfico acíclico dirigido que se puede desenrollar y reemplazar con una red neuronal estrictamente realimentada, mientras que una red recurrente de impulsos infinitos es un gráfico cíclico dirigido que no se puede desenrollar.
Tanto las redes recurrentes de impulsos finitos como las de impulsos infinitos pueden tener estados almacenados adicionales, y el almacenamiento puede estar bajo el control directo de la red neuronal. El almacenamiento también se puede reemplazar por otra red o gráfico si incorpora retrasos de tiempo o tiene bucles de retroalimentación. Dichos estados controlados se denominan estado cerrado o memoria cerrada, y forman parte de las redes de memoria a corto plazo (LSTM) y unidades recurrentes cerradas . Esto también se llama Red neuronal de retroalimentación (FNN).
Las redes neuronales recurrentes se basaron en el trabajo de David Rumelhart en 1986. [9] Las redes de Hopfield , un tipo especial de RNN, fueron (re)descubiertas por John Hopfield en 1982. En 1993, un sistema compresor de historia neuronal resolvió un problema "Muy Deep Learning" que requirió más de 1000 capas subsecuentes en una RNN desplegada en el tiempo. [10]
Las redes de memoria a corto plazo (LSTM) fueron inventadas por Hochreiter y Schmidhuber en 1997 y establecieron récords de precisión en múltiples dominios de aplicaciones. [11]
Alrededor de 2007, LSTM comenzó a revolucionar el reconocimiento de voz , superando a los modelos tradicionales en ciertas aplicaciones de voz. [12] En 2009, una red LSTM capacitada en clasificación temporal conexionista (CTC) fue la primera RNN en ganar concursos de reconocimiento de patrones cuando ganó varias competencias en reconocimiento de escritura conectada . [13] [14] En 2014, la empresa china Baidu utilizó RNN capacitados por CTC para superar el punto de referencia del conjunto de datos de reconocimiento de voz 2S09 Switchboard Hub5'00 [15] sin utilizar ningún método de procesamiento de voz tradicional. [dieciséis]
