En las redes neuronales artificiales , la función de activación de un nodo define la salida de ese nodo dada una entrada o un conjunto de entradas. Un circuito integrado estándar puede verse como una red digital de funciones de activación que pueden ser "ON" (1) u "OFF" (0), dependiendo de la entrada. Esto es similar al perceptrón lineal en las redes neuronales . Sin embargo, solo las funciones de activación no lineales permiten que tales redes calculen problemas no triviales usando solo una pequeña cantidad de nodos, y tales funciones de activación se denominan no linealidades . [1]
Clasificación de funciones de activación
Las funciones de activación más comunes se pueden dividir en tres categorías: funciones de cresta , funciones radiales y funciones de plegado .
Funciones de activación de la cresta
Las funciones de cresta son funciones multivariadas que actúan sobre una combinación lineal de las variables de entrada. Los ejemplos que se utilizan con frecuencia incluyen:
En las redes neuronales de inspiración biológica , la función de activación suele ser una abstracción que representa la tasa de activación del potencial de acción en la célula. [2] En su forma más simple, esta función es binaria , es decir, la neurona está disparando o no. La función se parece a, dónde es la función escalón Heaviside .
Se puede usar una línea de pendiente positiva para reflejar el aumento en la tasa de disparo que ocurre a medida que aumenta la corriente de entrada. Tal función sería de la forma.
Las neuronas tampoco pueden disparar más rápido que una cierta velocidad, lo que motiva las funciones de activación sigmoidea cuyo rango es un intervalo finito.
Funciones de activación radial
Una clase especial de funciones de activación conocidas como funciones de base radial (RBF) se utilizan en redes RBF , que son extremadamente eficientes como aproximadores de funciones universales. Estas funciones de activación pueden adoptar muchas formas, como:
- Gaussiano :
- Multicuadráticas:
dónde es el vector que representa el centro de la función y y son parámetros que afectan la extensión del radio.
Funciones de activación plegables
Las funciones de activación plegable se utilizan ampliamente en las capas de agrupación en redes neuronales convolucionales y en las capas de salida de las redes de clasificación multiclase. Estas activaciones realizan agregación sobre las entradas, como tomar la media , mínima o máxima . En la clasificación multiclase, a menudo se utiliza la activación softmax .
Comparación de funciones de activación
Existen numerosas funciones de activación. El artículo seminal de 2012 de Hinton et al. Sobre el reconocimiento automático de voz utiliza una función logística de activación sigmoidea. [3] La arquitectura seminal de visión por computadora AlexNet de 2012 utiliza la función de activación ReLU, al igual que la arquitectura de visión por computadora de 2015, ResNet . El modelo de procesamiento de lenguaje seminal 2018 BERT utiliza una versión fluida de ReLU, GELU. [4]
Aparte de su desempeño empírico, las funciones de activación también tienen diferentes propiedades matemáticas:
- No lineal
- Cuando la función de activación no es lineal, se puede demostrar que una red neuronal de dos capas es un aproximador de función universal. [5] Esto se conoce como el teorema de aproximación universal . La función de activación de identidad no satisface esta propiedad. Cuando varias capas utilizan la función de activación de identidad, toda la red es equivalente a un modelo de una sola capa.
- Distancia
- Cuando el rango de la función de activación es finito, los métodos de entrenamiento basados en gradientes tienden a ser más estables, porque las presentaciones de patrones afectan significativamente solo pesos limitados. Cuando el rango es infinito, el entrenamiento es generalmente más eficiente porque las presentaciones de patrones afectan significativamente a la mayoría de los pesos. En el último caso, normalmente se necesitan tasas de aprendizaje más pequeñas . [ cita requerida ]
- Continuamente diferenciable
- Esta propiedad es deseable ( ReLU no es continuamente diferenciable y tiene algunos problemas con la optimización basada en gradientes, pero aún es posible) para habilitar métodos de optimización basados en gradientes. La función de activación de pasos binarios no es diferenciable en 0, y se diferencia en 0 para todos los demás valores, por lo que los métodos basados en gradientes no pueden progresar con ella. [6]
Estas propiedades no influyen de manera decisiva en el rendimiento, ni son las únicas propiedades matemáticas que pueden ser útiles. Por ejemplo, el rango estrictamente positivo del softplus lo hace adecuado para predecir variaciones en codificadores automáticos variacionales .
La siguiente tabla compara las propiedades de varias funciones de activación que son funciones de un pliegue x de la capa o capas anteriores:
Nombre | Gráfico | Función, | Derivado de, | Distancia | Orden de continuidad |
---|---|---|---|---|---|
Identidad | |||||
Paso binario | |||||
Paso logístico , sigmoide o suave | [1] | ||||
Tangente hiperbólica ( tanh ) | |||||
Unidad lineal rectificada (ReLU) [7] | |||||
Unidad lineal de error gaussiano (GELU) [4] | |||||
Softplus [8] | |||||
Unidad lineal exponencial (ELU) [9] |
| ||||
Unidad lineal exponencial escalada (SELU) [10] |
| ||||
Unidad lineal rectificada con fugas (Leaky ReLU) [11] | |||||
Unidad lineal rectificada paramétrica (PReLU) [12] |
| [2] | |||
Unidad lineal sigmoidea (SiLU, [4] Contracción sigmoidea, [13] SiL, [14] o Swish-1 [15] ) | |||||
Mish [16] | |||||
Gaussiano |
- ^ Aquí, es la función logística .
- ^ para que el rango se mantenga fiel.
La siguiente tabla enumera las funciones de activación que no son funciones de un solo pliegue x de la capa o capas anteriores:
Nombre | Ecuación, | Derivados , | Distancia | Orden de continuidad |
---|---|---|---|---|
Softmax | para i = 1,…, J | [3] [4] | ||
Maxout [17] |
- ^ Aquí, es el delta de Kronecker .
- ^ Por ejemplo, podría estar iterando a través del número de núcleos de la capa de red neuronal anterior mientras itera a través del número de núcleos de la capa actual.
Ver también
- Función logística
- Rectificador (redes neuronales)
- Estabilidad (teoría del aprendizaje)
- Función Softmax
Referencias
- ^ Hinkelmann, Knut. "Redes neuronales, pág. 7" (PDF) . Universidad de Ciencias Aplicadas del Noroeste de Suiza .
- ^ Hodgkin, AL; Huxley, AF (28 de agosto de 1952). "Una descripción cuantitativa de la corriente de membrana y su aplicación a la conducción y excitación en el nervio" . La revista de fisiología . 117 (4): 500–544. doi : 10.1113 / jphysiol.1952.sp004764 . PMC 1392413 . PMID 12991237 .
- ^ Hinton, Geoffrey; Deng, Li; Deng, Li; Yu, Dong; Dahl, George; Mohamed, Abdel-rahman; Jaitly, Navdeep; Mayor, Andrew; Vanhoucke, Vincent; Nguyen, Patrick; Sainath, Tara; Kingsbury, Brian (2012). "Redes neuronales profundas para el modelado acústico en el reconocimiento de voz". Revista de procesamiento de señales IEEE . 29 (6): 82–97. doi : 10.1109 / MSP.2012.2205597 . S2CID 206485943 .
- ^ a b c Hendrycks, Dan; Gimpel, Kevin (2016). "Unidades lineales de error gaussiano (GELU)". arXiv : 1606.08415 [ cs.LG ].
- ^ Cybenko, G. (diciembre de 1989). "Aproximación por superposiciones de una función sigmoidea". Matemáticas de Control, Señales y Sistemas . 2 (4): 303–314. doi : 10.1007 / BF02551274 . ISSN 0932-4194 . S2CID 3958369 .
- ^ Snyman, Jan (3 de marzo de 2005). Optimización matemática práctica: Introducción a la teoría de optimización básica y algoritmos clásicos y nuevos basados en gradientes . Springer Science & Business Media. ISBN 978-0-387-24348-1.
- ^ Nair, Vinod; Hinton, Geoffrey E. (2010), "Las unidades lineales rectificadas mejoran las máquinas de Boltzmann restringidas" , 27ª Conferencia internacional sobre la conferencia internacional sobre aprendizaje automático , ICML'10, EE. UU.: Omnipress, págs. 807–814, ISBN 9781605589077
- ^ Glorot, Xavier; Bordes, Antoine; Bengio, Yoshua (2011). "Redes neuronales de rectificador disperso profundo" (PDF) . Congreso Internacional de Inteligencia Artificial y Estadística .
- ^ Clevert, Djork-Arné; Unterthiner, Thomas; Hochreiter, Sepp (23 de noviembre de 2015). "Aprendizaje en red profundo rápido y preciso por unidades lineales exponenciales (ELU)". arXiv : 1511.07289 [ cs.LG ].
- ^ Klambauer, Günter; Unterthiner, Thomas; Mayr, Andreas; Hochreiter, Sepp (8 de junio de 2017). "Redes neuronales autonormalizantes". Avances en sistemas de procesamiento de información neuronal . 30 (2017). arXiv : 1706.02515 . Código bibliográfico : 2017arXiv170602515K .
- ^ Maas, Andrew L .; Hannun, Awni Y .; Ng, Andrew Y. (junio de 2013). "Las no linealidades del rectificador mejoran los modelos acústicos de redes neuronales". Proc. ICML . 30 (1). S2CID 16489696 .
- ^ Él, Kaiming; Zhang, Xiangyu; Ren, Shaoqing; Sun, Jian (6 de febrero de 2015). "Profundizando en los rectificadores: superando el rendimiento a nivel humano en la clasificación de ImageNet". arXiv : 1502.01852 [ cs.CV ].
- ^ Atto, Abdourrahmane M .; Pastor, Dominique; Mercier, Grégoire (2008), "Contracción suave de la ondícula sigmoidea para la estimación no paramétrica" (PDF) , Conferencia internacional IEEE de 2008 sobre acústica, habla y procesamiento de señales , doi : 10.1109 / ICASSP.2008.4518347 , S2CID 9959057
- ^ Elfwing, Stefan; Uchibe, Eiji; Doya, Kenji (2018). "Unidades lineales ponderadas sigmoideas para la aproximación de la función de red neuronal en el aprendizaje por refuerzo". Redes neuronales . 107 : 3-11. arXiv : 1702.03118 . doi : 10.1016 / j.neunet.2017.12.012 . PMID 29395652 . S2CID 6940861 .
- ^ Ramachandran, Prajit; Zoph, Barret; Le, Quoc V (2017). "Búsqueda de funciones de activación". arXiv : 1710.05941 [ cs.NE ].
- ^ Misra, Diganta (13 de agosto de 2020). "Mish: una función de activación no monotónica auto regularizada". arXiv : 1908.08681 [ cs.LG ].
- ^ Goodfellow, Ian J .; Warde-Farley, David; Mirza, Mehdi; Courville, Aaron; Bengio, Yoshua (2013). "Maxout Networks". Taller de JMLR y actas de conferencias . 28 (3): 1319-1327. arXiv : 1302.4389 . Código bibliográfico : 2013arXiv1302.4389G .