ADALINE ( Adaptive Linear Neuron o Adaptive Linear Element posterior ) es una de las primeras redes neuronales artificiales de una sola capa y el nombre del dispositivo físico que implementó esta red. [1] [2] [3] [4] [5] La red usa memistores . Fue desarrollado por el profesor Bernard Widrow y su estudiante de posgrado Ted Hoff en la Universidad de Stanford en 1960. Se basa en la neurona McCulloch-Pitts . Consiste en una función de ponderación, sesgo y suma.
La diferencia entre Adaline y el perceptrón estándar ( McCulloch-Pitts ) es que en la fase de aprendizaje, los pesos se ajustan de acuerdo con la suma ponderada de las entradas (la red). En el perceptrón estándar, la red se pasa a la función de activación ( transferencia ) y la salida de la función se usa para ajustar los pesos.
Una red multicapa de unidades ADALINE se conoce como MADALINE .
Definición
Adaline es una red neuronal de una sola capa con múltiples nodos donde cada nodo acepta múltiples entradas y genera una salida. Dadas las siguientes variables como:
- es el vector de entrada
- es el vector de peso
- es el número de entradas
- algo constante
- es la salida del modelo
entonces encontramos que la salida es . Si asumimos además que
entonces la salida se reduce aún más a:
Algoritmo de aprendizaje
Asumamos:
- es la tasa de aprendizaje (alguna constante positiva)
- es la salida del modelo
- es la salida de destino (deseada)
luego los pesos se actualizan de la siguiente manera . El ADALINE converge al error de mínimos cuadrados que es. [6] Esta regla de actualización es de hecho la actualización del descenso del gradiente estocástico para la regresión lineal . [7]
MADALINE
MADALINE (Many ADALINE [8] ) es una arquitectura de red neuronal artificial de alimentación hacia adelante de tres capas (entrada, oculta, salida) para clasificación que utiliza unidades ADALINE en sus capas ocultas y de salida, es decir, su función de activación es la función de signo . [9] La red de tres capas utiliza memistores . Se han sugerido tres algoritmos de entrenamiento diferentes para redes MADALINE, que no se pueden aprender mediante retropropagación porque la función de signo no es diferenciable, denominados Regla I, Regla II y Regla III.
Regla 1 de MADALINE (IRM): la primera de ellas se remonta a 1962 y no puede adaptar los pesos de la conexión de salida oculta. [10]
Regla 2 de MADALINE (MRII) - El segundo algoritmo de entrenamiento mejoró la Regla I y fue descrito en 1988. [8] El algoritmo de entrenamiento de la Regla II se basa en un principio llamado "perturbación mínima". Continúa recorriendo ejemplos de entrenamiento, luego, para cada ejemplo:
- encuentra la unidad de capa oculta (clasificador ADALINE) con la menor confianza en su predicción,
- voltea tentativamente el signo de la unidad,
- acepta o rechaza el cambio en función de si se reduce el error de la red,
- se detiene cuando el error es cero.
Regla MADALINE 3 - La tercera "Regla" aplicada a una red modificada con activaciones sigmoideas en lugar de signum; Más tarde se descubrió que era equivalente a la retropropagación. [10]
Además, cuando voltear los signos de unidades individuales no lleva el error a cero para un ejemplo en particular, el algoritmo de entrenamiento comienza a voltear pares de signos de unidades, luego triples de unidades, etc. [8]
Ver también
Referencias
- ^ Anderson, James A .; Rosenfeld, Edward (2000). Talking Nets: una historia oral de las redes neuronales . ISBN 9780262511117.
- ^ Youtube: widrowlms: ciencia en acción
- ^ 1960: Una neurona adaptativa "ADALINE" que utiliza "memistores" químicos
- ^ Youtube: widrowlms: El algoritmo LMS y ADALINE. Parte I - El algoritmo LMS
- ^ Youtube: widrowlms: El algoritmo LMS y ADALINE. Parte II - ADALINE y memistor ADALINE
- ^ "Adaline (Adaptive Linear)" (PDF) . CS 4793: Introducción a las redes neuronales artificiales . Departamento de Ciencias de la Computación, Universidad de Texas en San Antonio.
- ^ Avi Pfeffer. "CS181 Lecture 5 - Perceptrons" (PDF) . Universidad Harvard.[ enlace muerto permanente ]
- ^ a b c Rodney Winter; Bernard Widrow (1988). REGLA II DE MADALINE: Un algoritmo de entrenamiento para redes neuronales (PDF) . Conferencia internacional IEEE sobre redes neuronales. págs. 401–408. doi : 10.1109 / ICNN.1988.23872 .
- ^ Youtube: widrowlms: Science in Action (Madaline se menciona al principio y a las 8:46)
- ^ a b Widrow, Bernard; Lehr, Michael A. (1990). "30 años de redes neuronales adaptativas: perceptron, madaline y backpropagation". Actas del IEEE . 78 (9): 1415-1442. doi : 10.1109 / 5.58323 .
enlaces externos
- "Regla de aprendizaje delta: ADALINE" . Redes neuronales artificiales . Universidad Politécnica de Madrid. Archivado desde el original el 15 de junio de 2002.
- " Redes neuronales multicapa basadas en memristor con entrenamiento de descenso de gradiente en línea ". Implementación del algoritmo ADALINE con memristors en computación analógica.