Las redes neuronales entrenadas instantáneamente son redes neuronales artificiales de retroalimentación que crean un nuevo nodo neuronal oculto para cada nueva muestra de entrenamiento. Los pesos de esta neurona oculta separan no solo esta muestra de entrenamiento, sino otras que están cerca de ella, lo que proporciona una generalización. [1] [2] Esta separación se realiza utilizando el hiperplano más cercano que se puede escribir instantáneamente. En las dos implementaciones más importantes, la vecindad de la generalización varía con la muestra de entrenamiento (red CC1) o permanece constante (red CC4). Estas redes utilizan codificación unaria para una representación eficaz de los conjuntos de datos. [3]
Este tipo de red se propuso por primera vez en un artículo de 1993 de Subhash Kak . [1] Desde entonces, las redes neuronales entrenadas instantáneamente se han propuesto como modelos de aprendizaje a corto plazo y se han utilizado en búsquedas web y aplicaciones de predicción de series de tiempo financieras . [4] También se han utilizado en la clasificación instantánea de documentos [5] y para el aprendizaje profundo y la minería de datos . [6] [7]
Como en otras redes neuronales, su uso habitual es como software, pero también se han implementado en hardware mediante FPGAs [8] y mediante implementación óptica. [9]
Red CC4
En la red CC4, que es una red de tres etapas, el número de nodos de entrada es uno más que el tamaño del vector de entrenamiento, y el nodo adicional actúa como nodo de polarización cuya entrada es siempre 1. Los pesos de los nodos de entrada a la neurona oculta (digamos del índice j) correspondientes al vector entrenado vienen dados por la siguiente fórmula:
dónde es el radio de generalización y es el peso de Hamming (el número de 1) de la secuencia binaria. Desde la capa oculta hasta la capa de salida, los pesos son 1 o -1 dependiendo de si el vector pertenece a una clase de salida determinada o no. Las neuronas en las capas ocultas y de salida emiten 1 si la suma ponderada de la entrada es 0 o positiva y 0, si la suma ponderada de la entrada es negativa:
Otras redes
La red CC4 también se ha modificado para incluir entradas no binarias con diferentes radios de generalización para que proporcione efectivamente una implementación CC1. [10]
En las redes de retroalimentación, la red Willshaw y la red Hopfield pueden aprender instantáneamente.
Referencias
- ^ a b Kak, S. Sobre el entrenamiento de redes neuronales de retroalimentación. Pramana, vol. 40, págs. 35-42, 1993 [1]
- ^ Kak, S. Nuevos algoritmos para el entrenamiento de redes neuronales feedforward. Cartas de reconocimiento de patrones 15: 295-298, 1994.
- ^ Kak, S. Sobre generalización por redes neuronales, Ciencias de la información 111: 293-302, 1998.
- ^ Kak, S. Búsqueda y predicción web más rápidas utilizando redes neuronales entrenadas instantáneamente. IEEE Intelligent Systems 14: 79-82, noviembre / diciembre de 1999.
- ^ Zhang, Z. et al., TextCC: Nueva red neuronal feedforward para clasificar documentos al instante. Advances in Neural Networks ISNN 2005. Lecture Notes in Computer Science 3497: 232-237, 2005.
- ^ Zhang, Z. et al., Clasificación de documentos a través de TextCC basada en proyección estereográfica y para aprendizaje profundo, Conferencia internacional sobre aprendizaje automático y cibernética, Dalin, 2006
- ^ Schmidhuber, J. Aprendizaje profundo en redes neuronales: una descripción general, arXiv: 1404.7828, 2014 https://arxiv.org/abs/1404.7828
- ^ Zhu, J. y G. Milne, Implementación de redes neuronales Kak en una plataforma de computación reconfigurable, Notas de la conferencia en Computer Science Volume 1896: 260-269, 2000.
- ^ Shortt, A., JG Keating, L. Moulinier, CN Pannell, Implementación óptica de la red neuronal Kak, Ciencias de la información 171: 273-287, 2005.
- ^ Tang, KW y Kak, S. Redes de clasificación rápida para procesamiento de señales. Circuitos, sistemas, procesamiento de señales 21, 2002, págs. 207-224.