En la teoría matemática de las redes neuronales artificiales , los teoremas de aproximación universal son resultados [1] que establecen la densidad de una clase de funciones generadas algorítmicamente dentro de un espacio funcional de interés dado. Normalmente, estos resultados se refieren a las capacidades de aproximación de la arquitectura de alimentación directa en el espacio de funciones continuas entre dos espacios euclidianos , y la aproximación es con respecto a la topología de convergencia compacta . Sin embargo, también hay una variedad de resultados entre espacios no euclidianos [2]y otras arquitecturas de uso común y, más generalmente, conjuntos de funciones generados algorítmicamente, como la arquitectura de red neuronal convolucional (CNN), [3] [4] funciones de base radial, [5] o redes neuronales con propiedades específicas. [6] La mayoría de los teoremas de aproximación universal se pueden dividir en dos clases. El primero cuantifica las capacidades de aproximación de las redes neuronales con un número arbitrario de neuronas artificiales ( caso de " ancho arbitrario ") y el segundo se centra en el caso con un número arbitrario de capas ocultas, cada una de las cuales contiene un número limitado de neuronas artificiales (" profundidad arbitraria " " caso).
Los teoremas de aproximación universal implican que las redes neuronales pueden representar una amplia variedad de funciones interesantes cuando se les dan los pesos apropiados. Por otro lado, normalmente no proporcionan una construcción para los pesos, sino que simplemente indican que tal construcción es posible.
Historia
Una de las primeras versiones del caso de ancho arbitrario fue probada por George Cybenko en 1989 para las funciones de activación sigmoidea . [7] Kurt Hornik demostró en 1991 [8] que no es la elección específica de la función de activación, sino más bien la propia arquitectura de alimentación de múltiples capas la que da a las redes neuronales el potencial de ser aproximaciones universales. Moshe Leshno et al en 1993 [9] y más tarde Allan Pinkus en 1999 [10] demostraron que la propiedad de aproximación universal es equivalente a tener una función de activación no polinómica.
El caso de profundidad arbitraria también fue estudiado por varios autores, como Zhou Lu et al en 2017, [11] Boris Hanin y Mark Sellke en 2018, [12] y Patrick Kidger y Terry Lyons en 2020. [13] El resultado mínimo el ancho por capa se refinó en [14] y en [15] para redes residuales.
Existen varias extensiones del teorema, como funciones de activación discontinuas, [9] dominios no compactos, [13] redes certificables [16] y arquitecturas y topologías de red alternativas. [13] [17]
Caso de ancho arbitrario
La forma clásica del teorema de aproximación universal para ancho arbitrario y profundidad acotada es la siguiente. [7] [8] [18] [19] Extiende [10] los resultados clásicos de George Cybenko y Kurt Hornik .
Teorema de aproximación universal: fijar una función continua (función de activación) y números enteros positivos . La funciónno es un polinomio si y solo si, para cada función continua(función de destino), cada subconjunto compacto de , y cada existe una función continua (la salida de la capa) con representación
dónde son mapas afines componibles y denota composición por componentes, de modo que la aproximación ligada
se sostiene para cualquier arbitrariamente pequeño (distancia de a puede ser infinitamente pequeño).
El teorema establece que el resultado de la primera capa puede aproximarse a cualquier función de buen comportamiento . Esta función de buen comportamiento también puede aproximarse mediante una red de mayor profundidad utilizando la misma construcción para la primera capa y aproximando la función de identidad con las capas posteriores.
Caso de profundidad arbitraria
Las versiones "duales" del teorema consideran redes de ancho limitado y profundidad arbitraria. Una variante del teorema de aproximación universal fue probada para el caso de profundidad arbitraria por Zhou Lu et al. en 2017. [11] Demostraron que las redes de ancho n + 4 con funciones de activación ReLU pueden aproximarse a cualquier función integrable de Lebesgue en el espacio de entrada n- dimensional con respecto adistancia si se permite que la profundidad de la red aumente. También se demostró que existía un poder expresivo limitado si el ancho era menor o igual que n . Todas las funciones integrables de Lebesgue, excepto un conjunto de medidas cero, no pueden aproximarse mediante redes ReLU de ancho n . En el mismo artículo [11] se demostró que las redes ReLU con ancho n + 1 eran suficientes para aproximar cualquier función continua de variables de entrada n- dimensionales. [20] El siguiente perfeccionamiento especifica el ancho mínimo óptimo para el que es posible una aproximación de este tipo y se debe a [21]
Teorema de aproximación universal (distancia L1, activación ReLU, profundidad arbitraria, ancho mínimo). Para cualquier p-integrable Lebesgue-Bochner función y cualquier , existe una red ReLU completamente conectada de ancho exactamente , satisfactorio
- .
Además, existe una función y algo , para la cual no existe una red ReLU completamente conectada de ancho inferior asatisfaciendo el límite de aproximación anterior.
Juntos, el resultado central de [13] produce el siguiente teorema de aproximación universal para redes con ancho acotado.
Teorema de aproximación universal ( activación no afín , profundidad arbitraria , ancho restringido). Dejarser un subconjunto compacto de. Dejarser cualquier función continua no afín que sea continuamente diferenciable en al menos un punto, con una derivada distinta de cero en ese punto. Dejar denotar el espacio de las redes neuronales de alimentación hacia adelante con neuronas de entrada, neuronas de salida, y un número arbitrario de capas ocultas, cada una con neuronas, de modo que cada neurona oculta tiene una función de activación y cada neurona de salida tiene la identidad como función de activación, con capa de entraday capa de salida . Entonces dado cualquier y cualquier , existe tal que
En otras palabras, es denso encon respecto a la topología uniforme [ desambiguación necesaria ] .
Se han establecido ciertas condiciones necesarias para el caso de ancho acotado, profundidad arbitraria, pero todavía hay una brecha entre las condiciones conocidas suficientes y necesarias. [11] [12] [22]
Entrada de gráfico
Lograr una aproximación de función universal útil en gráficos (o más bien en clases de isomorfismo de gráficos ) ha sido un problema de larga data. Las populares redes neuronales convolucionales gráficas (GCN o GNN) pueden ser tan discriminatorias como la prueba de isomorfismo gráfico de Weisfeiler-Leman. [23] En 2020, [24] Brüel-Gabrielsson estableció un resultado del Teorema de aproximación universal, que muestra que la representación gráfica con ciertas propiedades inyectivas es suficiente para la aproximación de función universal en gráficos acotados y la aproximación de función universal restringida en gráficos ilimitados, con un acompañamiento#bordes#nodos-método de tiempo de ejecución que funcionó con el estado del arte en una colección de puntos de referencia.
Ver también
- Teorema de representación de Kolmogorov-Arnold
- Representante teorema
- No hay teorema de almuerzo gratis
- Teorema de Stone-Weierstrass
- series de Fourier
Referencias
- ^ Hornik, Kurt; Tinchcombe, Maxwell; White, Halbert (1989). Las redes de alimentación directa multicapa son aproximadores universales (PDF) . Redes neuronales . 2 . Pergamon Press. págs. 359–366.
- ^ Kratsios, Anastasis; Bilokopytov, Eugene (2020). Aproximación universal no euclidiana (PDF) . Avances en sistemas de procesamiento de información neuronal . 33 . Asociados Curran.
- ^ Zhou, Ding-Xuan (2020). "Universalidad de las redes neuronales convolucionales profundas". Análisis Armónico Computacional y Aplicado . 48 (2): 787–794. arXiv : 1805.10769 . doi : 10.1016 / j.acha.2019.06.004 . S2CID 44113176 .
- ^ Heinecke, Andreas; Ho, Jinn; Hwang, Wen-Liang (2020). "Refinamiento y aproximación universal a través de redes de convolución ReLU escasamente conectadas". Cartas de procesamiento de señales IEEE . 27 : 1175-1179. Código Bibliográfico : 2020ISPL ... 27.1175H . doi : 10.1109 / LSP.2020.3005051 . S2CID 220669183 .
- ^ Park, J .; Sandberg, IW (1991). "Aproximación universal utilizando redes de función de base radial". Computación neuronal . 3 (2): 246–257. doi : 10.1162 / neco.1991.3.2.246 . PMID 31167308 . S2CID 34868087 .
- ^ Yarotsky, Dmitry (2021). "Aproximaciones universales de mapas invariantes por redes neuronales". Aproximación constructiva . arXiv : 1804.10306 . doi : 10.1007 / s00365-021-09546-1 .
- ^ a b Cybenko, G. (1989). "Aproximación por superposiciones de una función sigmoidea". Matemáticas de Control, Señales y Sistemas . 2 (4): 303–314. CiteSeerX 10.1.1.441.7873 . doi : 10.1007 / BF02551274 . S2CID 3958369 .
- ^ a b Hornik, Kurt (1991). "Capacidades de aproximación de redes feedforward multicapa". Redes neuronales . 4 (2): 251-257. doi : 10.1016 / 0893-6080 (91) 90009-T .
- ^ a b Leshno, Moshe; Lin, Vladimir Ya .; Pinkus, Allan; Schocken, Shimon (enero de 1993). "Las redes de alimentación de varias capas con una función de activación no polinómica pueden aproximarse a cualquier función". Redes neuronales . 6 (6): 861–867. doi : 10.1016 / S0893-6080 (05) 80131-5 . S2CID 206089312 .
- ^ a b Pinkus, Allan (enero de 1999). "Teoría de aproximación del modelo MLP en redes neuronales". Acta Numerica . 8 : 143-195. Código Bibliográfico : 1999AcNum ... 8..143P . doi : 10.1017 / S0962492900002919 .
- ^ a b c d Lu, Zhou; Pu, Homgming; Wang, Feicheng; Hu, Zhiqiang; Wang, Liwei (2017). "El poder expresivo de las redes neuronales: una vista desde el ancho" . Avances en sistemas de procesamiento de información neuronal . Asociados Curran. 30 : 6231–6239. arXiv : 1709.02540 .
- ^ a b Hanin, Boris; Sellke, Mark (marzo de 2019). "Aproximación de funciones continuas por redes ReLU de ancho mínimo" . Matemáticas . MDPI. 7 (10): 992. arXiv : 1710.11278 . doi : 10.3390 / math7100992 .
- ^ a b c d Kidger, Patrick; Lyons, Terry (julio de 2020). Aproximación universal con redes estrechas profundas . Jornada de Teoría del Aprendizaje. arXiv : 1905.08539 .
- ^ Park, Sejun; Yun, Chulhee; Lee, Jaeho; Shin, Jinwoo (octubre de 2020). Ancho mínimo para aproximación universal . Jornada de Teoría del Aprendizaje. arXiv : 1905.08539 .
- ^ Tabuada, Paulo; Gharesifard, Bahman (2020). Potencia de aproximación universal de redes neuronales residuales profundas a través de la teoría de control no lineal . ICLR. arXiv : 2007.06007 .
- ^ Baader, Maximiliano; Mirman, Matthew; Vechev, Martin (2020). Aproximación universal con redes certificadas . ICLR.
- ^ Lin, Hongzhou; Jegelka, Stefanie (2018). ResNet con capas ocultas de una neurona es un aproximador universal . Avances en sistemas de procesamiento de información neuronal . 30 . Asociados Curran. págs. 6169–6178.
- ^ Haykin, Simon (1998). Redes neuronales: una base integral , volumen 2, Prentice Hall. ISBN 0-13-273350-1 .
- ^ Hassoun, M. (1995) Fundamentos de las redes neuronales artificiales MIT Press, p. 48
- ^ Hanin, B. (2018). Aproximación de funciones continuas mediante redes ReLU de ancho mínimo . preimpresión de arXiv arXiv: 1710.11278.
- ^ Park, Yun, Lee, Shin, Sejun, Chulhee, Jaeho, Jinwoo (28 de septiembre de 2020). "Ancho mínimo para aproximación universal" . ICLR . arXiv : 2006.08859 .CS1 maint: varios nombres: lista de autores ( enlace )
- ^ Johnson, Jesse (2019). Las redes neuronales profundas y delgadas no son aproximadores universales . Congreso Internacional de Representaciones del Aprendizaje.
- ^ Xu, Keyulu; Hu, Weihua; Leskovec, Jure; Jegelka, Stefanie (2019). ¿Qué tan poderosas son las redes neuronales gráficas? . Congreso Internacional de Representaciones del Aprendizaje .
- ^ Brüel-Gabrielsson, Rickard (2020). Aproximación de función universal en gráficos . Avances en sistemas de procesamiento de información neuronal . 33 . Asociados Curran.