Red Hopfield

Una red Hopfield (o modelo Ising de una red neuronal o modelo Ising-Lenz-Little ) es una forma de red neuronal artificial recurrente y un tipo de sistema de vidrio giratorio popularizado por John Hopfield en 1982 ^[1] como lo describió Little en 1974. ^[2] basado en el trabajo de Ernst Ising con Wilhelm Lenz en el modelo de Ising . ^[3] Las redes Hopfield sirven como sistemas de memoria direccionables por contenido ("asociativas") con nodos de umbral binarios., o con variables continuas. ^[4] Las redes de Hopfield también proporcionan un modelo para comprender la memoria humana. ^{[5] [6]}

El modelo Ising de una red neuronal como modelo de memoria fue propuesto por primera vez por William A. Little en 1974, ^[2] que es reconocido por Hopfield en su artículo de 1982. ^[1] Hopfield desarrolló redes con dinámica continua en su artículo de 1984. ^[4] Un avance importante en la capacidad de almacenamiento de memoria fue desarrollado por Krotov y Hopfield en 2016 ^{[7] a} través de un cambio en la dinámica de la red y la función energética. Esta idea fue ampliada por Demircigil y colaboradores en 2017. ^[8] La dinámica continua de modelos de gran capacidad de memoria se desarrolló en una serie de artículos entre 2016 y 2020. ^{[7] [9] [10]} Las redes Hopfield de gran capacidad de almacenamiento de memoria se denominan ahora memorias asociativas densas o redes Hopfield modernas .

Las unidades en las redes de Hopfield son unidades de umbral binarias, es decir, las unidades solo toman dos valores diferentes para sus estados, y el valor se determina en función de si la entrada de la unidad supera o no su umbral . Las redes de Hopfield discretas describen las relaciones entre neuronas binarias (activadas o no activadas) . ^[1] En un momento determinado, el estado de la red neuronal se describe mediante un vector , que registra qué neuronas se activan en una palabra binaria de N bits.${\ Displaystyle U_ {i}}$${\ Displaystyle 1,2, \ ldots, i, j, \ ldots, N}$${\ Displaystyle V}$

Las interacciones entre neuronas tienen unidades que generalmente toman valores de 1 o -1, y esta convención se utilizará a lo largo de este artículo. Sin embargo, otra literatura podría usar unidades que toman valores de 0 y 1. Estas interacciones se "aprenden" a través de la ley de asociación de Hebb, de modo que, para un cierto estado ${\ Displaystyle w_ {ij}}$${\ Displaystyle V ^ {s}}$

${\ Displaystyle w_ {ij} = V_ {i} ^ {s} V_ {j} ^ {s}}$

pero .${\ Displaystyle w_ {ii} = 0}$

Una red Hopfield con cuatro unidades

Paisaje energético de una red Hopfield, destacando el estado actual de la red (colina arriba), un estado atractor al que eventualmente convergerá, un nivel mínimo de energía y una cuenca de atracción sombreada en verde. Tenga en cuenta cómo la actualización de la red Hopfield siempre está bajando en Energía.

Fig.1 Un ejemplo de una red Hopfield moderna y continua con neuronas de características y neuronas de memoria (ocultas) con conexiones sinápticas simétricas entre ellas.${\ textstyle N_ {f} = 5}$${\ Displaystyle N _ {\ text {mem}} = 11}$

Fig.2 Teoría efectiva sobre las neuronas características para varias elecciones comunes de las funciones lagrangianas. El modelo A se reduce a los modelos estudiados en ^{[7] [8]} dependiendo de la elección de la función de activación, el modelo B se reduce al modelo estudiado en, ^{[9] el} modelo C se reduce al modelo de. ^[10]

Fig.3 El diagrama de conectividad de la red Hopfield moderna completamente conectada que consta de cinco neuronas. Los pesos sinápticos se describen mediante una matriz simétrica .${\ Displaystyle W_ {IJ}}$

Fig.4 El diagrama de conectividad de la red de memoria asociativa jerárquica en capas. ^[25] Cada capa puede tener diferente número de neuronas, diferente función de activación y diferentes escalas de tiempo. Las ponderaciones de retroalimentación y retroalimentación son iguales.