Red de atractores

Una red atractora es un tipo de red dinámica recurrente , que evoluciona hacia un patrón estable a lo largo del tiempo. Los nodos en la red de atractores convergen hacia un patrón que puede ser de punto fijo (un solo estado), cíclico (con estados que se repiten regularmente), caótico (localmente pero no globalmente inestable) o aleatorio ( estocástico ). ^{[1] Las} redes de atracción se han utilizado en gran medida en neurociencia computacional para modelar procesos neuronales como la memoria asociativa ^[2] y el comportamiento motor, así como en métodos de aprendizaje automático inspirados en la biología . Una red atractora contiene un conjunto de nnodos, que se pueden representar como vectores en un espacio d -dimensional donde n > d . Con el tiempo, el estado de la red tiende hacia uno de un conjunto de estados predefinidos en un colector d ; estos son los atractores .

Visión general

Ver también: Atractor

En las redes de atractores, un atractor (o conjunto de atracción ) es un subconjunto cerrado de estados A hacia los que evoluciona el sistema de nodos. Un atractor estacionario es un estado o conjuntos de estados donde la dinámica global de la red se estabiliza. Los atractores cíclicos hacen evolucionar la red hacia un conjunto de estados en un ciclo límite , que se atraviesa repetidamente. Los atractores caóticos son atractores acotados que no se repiten y que se atraviesan continuamente.

El espacio de estado de la red es el conjunto de todos los posibles estados de los nodos. El espacio del atractor es el conjunto de nodos del atractor. Las redes de atractores se inicializan según el patrón de entrada. La dimensionalidad del patrón de entrada puede diferir de la dimensionalidad de los nodos de la red. La trayectoria de la red consiste en el conjunto de estados a lo largo de la ruta de evolución a medida que la red converge hacia el estado atractor. La cuenca de atracción es el conjunto de estados que resulta en un movimiento hacia cierto atractor. ^[1]

Tipos

Se pueden usar varios tipos de atractores para modelar diferentes tipos de dinámicas de red. Si bien las redes atractoras de punto fijo son las más comunes (originadas en redes Hopfield ^[3] ), también se examinan otros tipos de redes.

Atractores de punto fijo

El atractor de punto fijo se deriva naturalmente de la red de Hopfield . Convencionalmente, los puntos fijos en este modelo representan memorias codificadas. Estos modelos se han utilizado para explicar la memoria asociativa, la clasificación y la finalización de patrones. Las redes Hopfield contienen una función energética subyacente ^[4]que permiten que la red se acerque asintóticamente a un estado estacionario. Una clase de red atractora puntual se inicializa con una entrada, después de lo cual se elimina la entrada y la red se mueve hacia un estado estable. Otra clase de red de atractores presenta pesos predefinidos que son probados por diferentes tipos de entrada. Si este estado estable es diferente durante y después de la entrada, sirve como modelo de memoria asociativa. Sin embargo, si los estados durante y después de la entrada no difieren, la red se puede utilizar para completar el patrón.

Otros atractores estacionarios

Los atractores de línea y los atractores de plano se utilizan en el estudio del control oculomotor. Estos atractores de línea, o integradores neuronales , describen la posición del ojo en respuesta a estímulos. Los atractores de anillo se han utilizado para modelar la dirección de la cabeza de los roedores.

Atractores cíclicos

Los atractores cíclicos son fundamentales para modelar los generadores de patrones centrales , neuronas que gobiernan la actividad oscilatoria en animales como masticar, caminar y respirar.

Atractores caóticos

Se ha planteado la hipótesis de que los atractores caóticos (también llamados atractores extraños ) reflejan patrones en el reconocimiento de olores. Si bien los atractores caóticos tienen la ventaja de converger más rápidamente en los ciclos límite, todavía no hay evidencia experimental que respalde esta teoría. ^[5]

Atractores continuos

Los estados estables vecinos (puntos fijos) de los atractores continuos (también llamados redes neuronales de atractores continuos) codifican los valores vecinos de una variable continua, como la dirección de la cabeza o la posición real en el espacio.

Atractores de anillo

Un subtipo de atractores continuos con una topología particular de las neuronas (anillo para unidimensional y toro o toro retorcido para redes bidimensionales). La actividad observada de las células de la rejilla se explica con éxito asumiendo la presencia de atractores de anillo en la corteza entorrinal medial . ^[6] Recientemente, se ha propuesto que los atractores de anillo similares están presentes en la porción lateral de la corteza entorrinal y su función se extiende al registro de nuevos recuerdos episódicos . ^[7]

Implementaciones

Las redes de atractores se han implementado principalmente como modelos de memoria utilizando atractores de punto fijo. Sin embargo, han sido poco prácticos para fines computacionales debido a las dificultades para diseñar el paisaje de atractores y el cableado de la red, lo que resulta en atractores espurios y cuencas de atracción mal acondicionadas. Además, el entrenamiento en redes de atractores es generalmente costoso desde el punto de vista computacional, en comparación con otros métodos, como los clasificadores de vecinos k-más cercanos . ^[8] Sin embargo, su papel en la comprensión general de diferentes funciones biológicas, como la función locomotora, la memoria, la toma de decisiones, por nombrar algunas, las hace más atractivas como modelos biológicamente realistas.

Redes de Hopfield

Véase también: red Hopfield

Las redes atractoras de Hopfield son una implementación temprana de redes atractoras con memoria asociativa . Estas redes recurrentes son inicializadas por la entrada y tienden hacia un atractor de punto fijo. La función de actualización en tiempo discreto es , donde es un vector de nodos en la red y es una matriz simétrica que describe su conectividad. La actualización de tiempo continua es .${\displaystyle x(t+1)=f(Wx(t))}$${\displaystyle x}$${\displaystyle W}$${\displaystyle {\frac {dx}{dt}}=-\lambda x+f(Wx)}$

Las redes bidireccionales son similares a las redes de Hopfield, con el caso especial de que la matrizes una matriz de bloques . ^[4]${\displaystyle W}$

Redes de atractores localistas

Zemel y Mozer (2001) ^[8] propusieron un método para reducir el número de atractores espurios que surgen de la codificación de múltiples atractores por cada conexión en la red. Las redes de atractores localistas codifican el conocimiento localmente mediante la implementación de un algoritmo de maximización de expectativas en una mezcla de gaussianos que representan los atractores, para minimizar la energía libre en la red y hacer converger solo el atractor más relevante. Esto da como resultado las siguientes ecuaciones de actualización:

1. Determine la actividad de los atractores: ${\displaystyle q_{i}(t)={\frac {\pi _{i}(y(t),w_{i},\sigma (t))}{\sum _{j}\pi _{j}g(y(t),w_{j},\sigma (t))}}}$
2. Determine el siguiente estado de la red: ${\displaystyle y(t+1)=\alpha (t)\xi +(1-\alpha (t))\sum _{i}q_{i}(t)w_{i}\,\!}$
3. Determine el ancho del atractor a través de la red: ${\displaystyle \sigma _{y}^{2}(t)={\frac {1}{n}}\sum _{i}q_{i}(t)|y(t)-w_{i}|^{2}}$

( denota la fuerza de la cuenca, denota el centro de la cuenca. denota la entrada a la red).${\displaystyle \pi _{i}}$${\displaystyle w_{i}}$${\displaystyle \xi }$

Luego, la red se vuelve a observar y los pasos anteriores se repiten hasta la convergencia. El modelo también refleja dos conceptos biológicamente relevantes. El cambio en los modelos estimula el cebado al permitir una convergencia más rápida hacia un atractor visitado recientemente. Además, la actividad sumada de los atractores permite un efecto de banda que hace que dos atractores cercanos refuercen mutuamente la cuenca del otro.${\displaystyle \alpha }$

Redes de atractores de reconsolidación

Siegelmann (2008) ^[9] generalizó el modelo de red de atractores localista para incluir el ajuste de los atractores mismos. Este algoritmo utiliza el método EM anterior, con las siguientes modificaciones: (1) terminación anticipada del algoritmo cuando la actividad del atractor está más distribuida, o cuando la alta entropía sugiere la necesidad de recuerdos adicionales, y (2) la capacidad de actualizar los atractores ellos mismos:, donde es el parámetro de tamaño de paso del cambio de . Este modelo refleja la reconsolidación de la memoria en animales y muestra algunas de las mismas dinámicas que se encuentran en los experimentos de memoria.${\displaystyle w_{i}(t+1)=vq_{i}(t)\cdot y(t)+[1-vq_{i}(t)]\cdot w_{i}(t)\,\!}$${\displaystyle v}$${\displaystyle w_{i}}$

Otros desarrollos en redes atractoras, como las redes atractoras basadas en kernel , ^[10] han mejorado la viabilidad computacional de las redes atractoras como algoritmo de aprendizaje, mientras mantienen la flexibilidad de alto nivel para realizar la finalización de patrones en estructuras compositivas complejas.

Referencias

1. * Amit, DJ (1989). Modelado de la función cerebral: el mundo de las redes neuronales atractoras . Nueva York, NY: Cambridge University Press.
2. * Poucet, B. y Save, E. (2005). "Atractores en la memoria". Ciencia . 308 (5723): 799–800. doi : 10.1126 / science.1112555 . PMID 15879197 . S2CID 9681032 .  
3. * Hopfield, JJ (1982). "Redes neuronales y sistemas físicos con habilidades computacionales colectivas emergentes" . Actas de la Academia Nacional de Ciencias . 79 (8): 2554-2558. Código Bibliográfico : 1982PNAS ... 79.2554H . doi : 10.1073 / pnas.79.8.2554 . PMC 346238 . PMID 6953413 .  
4. * John Hopfield (ed.). "Red Hopfield" . Scholarpedia .
5. * Chris Eliasmith (ed.). "Red de atractores" . Scholarpedia .
6. McNaughton BL, Battaglia FP, Jensen O, Moser EI, Moser MB (agosto de 2006). "Integración de caminos y la base neural del" mapa cognitivo " " . Nat. Rev. Neurosci . 7 (8): 663–678. doi : 10.1038 / nrn1932 . PMID 16858394 . S2CID 16928213 .  
7. Kovács KA (septiembre de 2020). "Recuerdos episódicos: ¿Cómo cooperan el hipocampo y los atractores del anillo entorrinal para crearlos?" . Fronteras en neurociencia de sistemas . 14 : 68. doi : 10.3389 / fnsys.2020.559186 . PMC 7511719 . PMID 33013334 .  
8. * Zemel, R. y Mozer, M. (2001). "Redes de atractores localistas". Computación neuronal . 13 (5): 1045–1064. doi : 10.1162 / 08997660151134325 . PMID 11359644 . S2CID 2934449 .  
9. * Siegelmann, HT (2008). "Memoria análogo-simbólica que rastrea vía reconsolidación". Physica D . 237 (9): 1207-1214. Código Bibliográfico : 2008PhyD..237.1207S . doi : 10.1016 / j.physd.2008.03.038 .
10. * Nowicki, D .; Siegelmann, HT (2010). "Memoria de núcleo flexible" . PLOS ONE . 5 (6): e10955. Código Bibliográfico : 2010PLoSO ... 510955N . doi : 10.1371 / journal.pone.0010955 . PMC 2883999 . PMID 20552013 .