Rprop , abreviatura de backpropagation resiliente , es una heurística de aprendizaje para el aprendizaje supervisado en redes neuronales artificiales feedforward . Este es un algoritmo de optimización de primer orden . Este algoritmo fue creado por Martin Riedmiller y Heinrich Braun en 1992. [1]
De manera similar a la regla de actualización de Manhattan , Rprop solo tiene en cuenta el signo de la derivada parcial sobre todos los patrones (no la magnitud) y actúa de forma independiente en cada "peso". Para cada peso, si hubo un cambio de signo de la derivada parcial de la función de error total en comparación con la última iteración, el valor de actualización para ese peso se multiplica por un factor η - , donde η - <1. Si la última iteración produjo el mismo signo, el valor de actualización se multiplica por un factor de η + , donde η + > 1. Los valores de actualización se calculan para cada peso de la manera anterior, y finalmente cada peso se cambia por su propio valor de actualización, en la dirección opuesta a la derivada parcial de ese peso, para minimizar la función de error total. η + se establece empíricamente en 1,2 y η - en 0,5.
Junto al algoritmo de correlación en cascada y el algoritmo de Levenberg-Marquardt , Rprop es uno de los mecanismos de actualización de peso más rápidos.
RPROP es un algoritmo de actualización por lotes .
Variaciones
Martin Riedmiller desarrolló tres algoritmos, todos llamados RPROP. Igel y Hüsken les asignaron nombres y agregaron una nueva variante: [2] [3]
- RPROP + se define en Un método adaptativo directo para un aprendizaje de retropropagación más rápido: el algoritmo RPROP . [4]
- RPROP− se define en Aprendizaje supervisado avanzado en perceptrones multicapa: desde la retropropagación hasta los algoritmos de aprendizaje adaptativo . El retroceso se elimina de RPROP +. [5]
- iRPROP− se define en Rprop - Description and Implementation Details [6] y fue reinventado por Igel y Hüsken. [3] Esta variante es muy popular y muy sencilla.
- iRPROP + se define como Mejora del algoritmo de aprendizaje Rprop y es muy robusto y, por lo general, más rápido que las otras tres variantes. [2] [3]
Referencias
- ^ Martin Riedmiller und Heinrich Braun: Rprop: un algoritmo de aprendizaje adaptativo rápido. Actas del VII Simposio Internacional sobre Informática y Ciencias de la Información, 1992
- ^ a b Christian Igel y Michael Hüsken. Mejora del algoritmo de aprendizaje Rprop . Segundo Simposio Internacional sobre Computación Neural (NC 2000), págs. 115-121, ICSC Academic Press, 2000
- ^ a b c Christian Igel y Michael Hüsken. Evaluación empírica del algoritmo de aprendizaje mejorado de Rprop . Neurocomputación 50: 105-123, 2003
- ^ Martin Riedmiller y Heinrich Braun. Un método adaptativo directo para un aprendizaje de retropropagación más rápido: el algoritmo Rprop . Actas de la Conferencia Internacional IEEE sobre Redes Neuronales, 586-591, IEEE Press, 1993
- ^ Martin Riedmiller. Aprendizaje supervisado avanzado en perceptrones multicapa: desde la retropropagación hasta los algoritmos de aprendizaje adaptativo . Estándares e interfaces informáticos 16 (5), 265-278, 1994
- ^ Martin Riedmiller. Rprop - Detalles de implementación y descripción . Informe técnico, 1994