El algoritmo de vigilia-sueño [1] es un algoritmo de aprendizaje no supervisado para una red neuronal estocástica multicapa [ aclaración necesaria ] . El algoritmo ajusta los parámetros para producir un buen estimador de densidad. [2] Hay dos fases de aprendizaje, la fase de "despertar" y la fase de "sueño", que se realizan alternativamente. [3] Primero fue diseñado como un modelo para el funcionamiento del cerebro usando el aprendizaje bayesiano variacional . Después de eso, el algoritmo se adaptó al aprendizaje automático . Puede verse como una forma de entrenar una máquina Helmholtz . [4] [5]También se puede utilizar en Deep Belief Networks (DBN) .
Descripción
El algoritmo de vigilia-sueño se visualiza como una pila de capas que contienen representaciones de datos. [6] Las capas superiores representan datos de la capa inferior. Los datos reales se colocan debajo de la capa inferior, lo que hace que las capas superiores se vuelvan gradualmente más abstractas. Entre cada par de capas hay un peso de reconocimiento y un peso generativo, que están entrenados para mejorar la confiabilidad durante el tiempo de ejecución del algoritmo. [7]
El algoritmo vigilia-sueño es convergente [8] y puede ser estocástico [9] si se alterna adecuadamente.
Capacitación
El entrenamiento consta de dos fases: la fase de "despertar" y la fase de "sueño".
La fase de "despertar"
Las neuronas se activan mediante conexiones de reconocimiento (desde lo que sería de entrada hasta lo que sería de salida). Las conexiones generativas (que van de las salidas a las entradas) se modifican para aumentar la probabilidad de que recreen la actividad correcta en la capa inferior, más cerca de los datos reales de la entrada sensorial. [10]
La fase de "sueño"
El proceso se invierte en la fase de "sueño": las neuronas se activan mediante conexiones generativas mientras que las conexiones de reconocimiento se modifican para aumentar la probabilidad de que recreen la actividad correcta en la capa superior, además de los datos reales de la entrada sensorial. [11]
Riesgos potenciales
El aprendizaje bayesiano variacional se basa en probabilidades . Existe la posibilidad de que se realice una aproximación con errores, dañando más representaciones de datos. Otro inconveniente se refiere a las muestras de datos complicadas o corruptas, lo que dificulta inferir un patrón de representación.
Se ha sugerido que el algoritmo vigilia-sueño no es lo suficientemente potente para las capas de la red de inferencia como para recuperar un buen estimador de la distribución posterior de las variables latentes. [12]
Ver también
- Máquina de Boltzmann restringida , un tipo de red neuronal que se entrena con un algoritmo conceptualmente similar.
- Máquina de Helmholtz , un modelo de red neuronal entrenado por el algoritmo de vigilia-sueño.
Referencias
- ^ Hinton, Geoffrey E .; Dayan, Peter ; Frey, Brendan J .; Neal, Radford (26 de mayo de 1995). "El algoritmo de vigilia-sueño para redes neuronales no supervisadas" . Ciencia . 268 (5214): 1158-1161. Código Bibliográfico : 1995Sci ... 268.1158H . doi : 10.1126 / science.7761831 . PMID 7761831 . S2CID 871473 .
- ^ Frey, Brendan J .; Hinton, Geoffrey E .; Dayan, Peter (1 de mayo de 1996). "¿El algoritmo de vigilia-sueño produce buenos estimadores de densidad?" (PDF) . Avances en sistemas de procesamiento de información neuronal.
- ^ Katayama, Katsuki; Ando, Masataka; Horiguchi, Tsuyoshi (1 de abril de 2004). "Modelos de áreas MT y MST utilizando algoritmo de vigilia-sueño". Redes neuronales . 17 (3): 339–351. doi : 10.1016 / j.neunet.2003.07.004 . PMID 15037352 .
- ^ Hinton, Geoffrey E .; Dayan, Peter ; Frey, Brendan J .; Neal, Radford (26 de mayo de 1995). "El algoritmo de vigilia-sueño para redes neuronales no supervisadas" . Ciencia . 268 (5214): 1158-1161. Código Bibliográfico : 1995Sci ... 268.1158H . doi : 10.1126 / science.7761831 . PMID 7761831 . S2CID 871473 .
- ^ Dayan, Peter ; Hinton, Geoffrey E. (1 de noviembre de 1996). "Variedades de la máquina Helmholtz". Redes neuronales . Cuatro hipótesis principales en neurociencia. 9 (8): 1385–1403. CiteSeerX 10.1.1.29.1677 . doi : 10.1016 / S0893-6080 (96) 00009-3 . PMID 12662541 .
- ^ Maei, Hamid Reza (25 de enero de 2007). "Algoritmo de vigilia-sueño para el aprendizaje representacional" . Universidad de Montreal . Consultado el 1 de noviembre de 2011 .
- ^ Neal, Radford M .; Dayan, Peter (24 de noviembre de 1996). "Análisis de factores mediante el aprendizaje de vigilia-sueño de reglas delta" (PDF) . Universidad de Toronto . Consultado el 1 de noviembre de 2015 .
- ^ Ikeda, Shiro; Amari, Shun-ichi; Nakahara, Hiroyuki. "Convergencia del algoritmo de vigilia-sueño" (PDF) . El Instituto de Matemática Estadística . Consultado el 1 de noviembre de 2015 .
- ^ Dalzell, RWH; Murray, AF (1 de enero de 1999). "Un marco para una máquina Helmholtz de valor discreto" . Novena Conferencia Internacional sobre Redes Neuronales Artificiales: ICANN '99 . 1 . págs. 49–54 vol.1. doi : 10.1049 / cp: 19991083 . ISBN 0-85296-721-7.
- ^ Hinton, Geoffrey; Dayan, Peter ; Frey, Brendan J; Neal, Radford M (3 de abril de 1995). "El algoritmo de vigilia-sueño para redes neuronales no supervisadas" (PDF) . PMID 7761831 . Consultado el 1 de noviembre de 2015 . Cite journal requiere
|journal=
( ayuda ) - ^ Dayan, Peter . "Máquinas de Helmholtz y aprendizaje de vigilia-sueño" (PDF) . Consultado el 1 de noviembre de 2015 .
- ^ Bornschein, Jörg; Bengio, Yoshua (10 de junio de 2014). "Despertar-Sueño Reponderado". arXiv : 1406,2751 [ cs.LG ].