Una red neuronal artificial 's regla de aprendizaje o proceso de aprendizaje es un método, la lógica matemática o algoritmo que mejora el rendimiento de la red y / o el tiempo de formación. Por lo general, esta regla se aplica repetidamente a través de la red. Se realiza actualizando los pesos y los niveles de sesgo de una red cuando se simula una red en un entorno de datos específico. [1] Una regla de aprendizaje puede aceptar las condiciones existentes (ponderaciones y sesgos) de la red y comparará el resultado esperado y el resultado real de la red para dar valores nuevos y mejorados de ponderaciones y sesgos. [2]Dependiendo de la complejidad del modelo real que se está simulando, la regla de aprendizaje de la red puede ser tan simple como una puerta XOR o un error cuadrático medio , o tan compleja como el resultado de un sistema de ecuaciones diferenciales .
La regla de aprendizaje es uno de los factores que decide qué tan rápido o con qué precisión se puede desarrollar la red artificial. Dependiendo del proceso para desarrollar la red, existen tres modelos principales de aprendizaje automático:
Fondo
Muchos de los métodos de aprendizaje en el aprendizaje automático funcionan de manera similar entre sí y se basan entre sí, lo que dificulta su clasificación en categorías claras. Pero pueden entenderse ampliamente en 4 categorías de métodos de aprendizaje, aunque estas categorías no tienen límites claros y tienden a pertenecer a múltiples categorías de métodos de aprendizaje [3] -
- Hebbian - Neocognitron , estado del cerebro en una caja [4]
- Gradient Descent - ADALINE , Hopfield Network , Recurrent Neural Network
- Competitiva - Aprendizaje vector Cuantificación , auto-organización función del mapa , adaptable Teoría de Resonancia
- Estocástico - Máquina de Boltzmann , Máquina de Cauchy
Cabe señalar que, aunque estas reglas de aprendizaje pueden parecer basadas en ideas similares, tienen diferencias sutiles, ya que son una generalización o aplicación sobre la regla anterior y, por lo tanto, tiene sentido estudiarlas por separado en función de sus orígenes. e intenciones.
Aprendizaje hebbiano
Desarrollado por Donald Hebb en 1949 para describir la activación de neuronas biológicas. A mediados de la década de 1950, también se aplicó a simulaciones informáticas de redes neuronales.
Dónde representa la tasa de aprendizaje, representa la salida de la neurona i, y y es la salida de la neurona. Se ha demostrado que la regla de Hebb en su forma básica es inestable. La regla de Oja , la teoría de BCM son otras reglas de aprendizaje construidas sobre o junto con la regla de Hebb en el estudio de las neuronas biológicas.
Regla de aprendizaje de Perceptron (PLR)
La regla de aprendizaje del perceptrón se origina en la suposición de Hebbian y fue utilizada por Frank Rosenblatt en su perceptrón en 1958. La red se pasa a la función de activación ( transferencia ) y la salida de la función se usa para ajustar los pesos. La señal de aprendizaje es la diferencia entre la respuesta deseada y la respuesta real de una neurona. La función de paso se usa a menudo como una función de activación, y las salidas generalmente están restringidas a -1, 0 o 1.
Los pesos se actualizan con
donde "t" es el valor objetivo y " o" es la salida del perceptrón, y se llama tasa de aprendizaje.
El algoritmo converge a la clasificación correcta si: [5]
- los datos de entrenamiento son linealmente separables *
- Es suficientemente pequeño (aunque más pequeño generalmente significa un tiempo de aprendizaje más largo y más épocas)
* También debe tenerse en cuenta que un perceptrón de una sola capa con esta regla de aprendizaje es incapaz de trabajar en entradas linealmente no separables y, por lo tanto, el problema de XOR no se puede resolver usando esta regla sola [6]
Retropropagación
Se dice que Seppo Linnainmaa en 1970 desarrolló el algoritmo de retropropagación [7], pero los orígenes del algoritmo se remontan a la década de 1960 con muchos contribuyentes. Es una generalización del algoritmo de mínimos cuadrados medios en el perceptrón lineal y la regla de aprendizaje delta.
Implementa la búsqueda de descenso de gradiente a través del espacio de los posibles pesos de la red, reduciendo iterativamente el error, entre los valores objetivo y las salidas de la red.
Aprendizaje de Widrow-Hoff (regla de aprendizaje Delta)
Similar a la regla de aprendizaje del perceptrón pero con diferente origen. Fue desarrollado para su uso en la red ADALAINE , que se diferencia del Perceptron principalmente en términos de entrenamiento. Los pesos se ajustan de acuerdo con la suma ponderada de las entradas (la red), mientras que en el perceptrón el signo de la suma ponderada fue útil para determinar la salida, ya que el umbral se estableció en 0, -1 o +1. Esto hace que ADALINE sea diferente del perceptrón normal.
La regla delta (DR) es similar a la regla de aprendizaje de Perceptron (PLR), con algunas diferencias:
- El error (δ) en DR no se limita a tener valores de 0, 1 o -1 (como en PLR), pero puede tener cualquier valor
- DR se puede derivar para cualquier función de salida / activación diferenciable f, mientras que en PLR solo funciona para la función de salida de umbral
A veces, solo cuando Widrow-Hoff se aplica específicamente a objetivos binarios, se denomina Regla delta, pero los términos parecen usarse indistintamente. La regla delta se considera para un caso especial del algoritmo de retropropagación .
La regla delta también se parece mucho al modelo de Rescorla-Wagner bajo el cual ocurre el condicionamiento pavloviano. [8]
Aprendizaje competitivo
El aprendizaje competitivo se considera una variante del aprendizaje hebbiano , pero es lo suficientemente especial como para discutirlo por separado. El aprendizaje competitivo funciona aumentando la especialización de cada nodo de la red. Es muy adecuado para encontrar agrupaciones dentro de los datos.
Los modelos y algoritmos basados en el principio de aprendizaje competitivo incluyen la cuantificación de vectores y los mapas autoorganizados (mapas de Kohonen).
Ver también
Referencias
- ^ Simon Haykin (16 de julio de 1998). "Capítulo 2: Procesos de aprendizaje". Redes neuronales: una base integral (2ª ed.). Prentice Hall. págs. 50-104. ISBN 978-8178083001. Consultado el 2 de mayo de 2012 .
- ^ S Russell, P. Norvig (1995). "Capítulo 18: Aprendiendo de los ejemplos". Inteligencia artificial: un enfoque moderno (3ª ed.). Prentice Hall. págs. 693–859. ISBN 0-13-103805-2. Consultado el 20 de noviembre de 2013 .
- ^ Rajasekaran, Sundaramoorthy. (2003). Redes neuronales, lógica difusa y algoritmos genéticos: síntesis y aplicaciones . Pai, GA Vijayalakshmi. (Ed. Economía oriental). Nueva Delhi: Prentice-Hall of India. ISBN 81-203-2186-3. OCLC 56960832 .
- ^ Golden, Richard M. (1 de marzo de 1986). "El modelo neuronal" Brain-State-in-a-Box "es un algoritmo de descenso de gradiente". Revista de Psicología Matemática . 30 (1): 73–80. doi : 10.1016 / 0022-2496 (86) 90043-X . ISSN 0022-2496 .
- ^ Sivanandam, SN (2007). Principios de la computación blanda . Deepa, SN (1ª ed.). Nueva Delhi: Wiley India. ISBN 978-81-265-1075-7. OCLC 760996382 .
- ^ Minsky, Marvin, 1927-2016. (1969). Perceptrones; una introducción a la geometría computacional . Papert, Seymour. Cambridge, Mass .: MIT Press. ISBN 0-262-13043-2. OCLC 5034 .CS1 maint: varios nombres: lista de autores ( enlace )
- ^ Schmidhuber, Juergen (enero de 2015). "Aprendizaje profundo en redes neuronales: una descripción general". Redes neuronales . 61 : 85-117. arXiv : 1404,7828 . doi : 10.1016 / j.neunet.2014.09.003 . PMID 25462637 . S2CID 11715509 .
- ^ Rescorla, Robert (31 de marzo de 2008). "Modelo Rescorla-Wagner" . Scholarpedia . 3 (3): 2237. Bibcode : 2008SchpJ ... 3.2237R . doi : 10.4249 / scholarpedia.2237 . ISSN 1941-6016 .