Proceso gaussiano de la red neuronal

Las redes bayesianas son una herramienta de modelado para asignar probabilidades a eventos y, por lo tanto, caracterizar la incertidumbre en las predicciones de un modelo. El aprendizaje profundo y las redes neuronales artificiales son enfoques que se utilizan en el aprendizaje automático para construir modelos computacionales que aprenden de los ejemplos de entrenamiento. Las redes neuronales bayesianas fusionan estos campos. Son un tipo de red neuronal artificial cuyos parámetros y predicciones son probabilísticos. ^[1]^[2] Mientras que las redes neuronales artificiales estándar a menudo asignan alta confianza incluso a predicciones incorrectas, ^[3] las redes neuronales bayesianas pueden evaluar con mayor precisión la probabilidad de que sus predicciones sean correctas.

">

Reproducir medios

Izquierda : una red neuronal bayesiana con dos capas ocultas, que transforma una entrada tridimensional (abajo) en una salida bidimensional

{\ Displaystyle (y_ {1}, y_ {2})}

(cima). Derecha : función de densidad de probabilidad de salida

{\ Displaystyle p (y_ {1}, y_ {2})}

inducida por los pesos aleatorios de la red. Video : a medida que aumenta el ancho de la red, la distribución de salida se simplifica y finalmente converge a una normal multivariante en el límite de ancho infinito.

Los procesos gaussianos de redes neuronales (NNGP) son equivalentes a las redes neuronales bayesianas en un límite particular, ^[4]^[5]^[6]^[7]^[8]^[9]^[10]^[11]^[12] y proporcionan una forma cerrada forma de evaluar las redes neuronales bayesianas. Son una distribución de probabilidad de proceso gaussiano que describe la distribución sobre las predicciones realizadas por la red neuronal bayesiana correspondiente. La computación en redes neuronales artificiales generalmente se organiza en capas secuenciales de neuronas artificiales . La cantidad de neuronas en una capa se denomina ancho de capa. La equivalencia entre los NNGP y las redes neuronales bayesianas se produce cuando las capas de una red neuronal bayesiana se vuelven infinitamente anchas (ver figura). Este gran límite de ancho es de interés práctico, ya que las redes neuronales de ancho finito suelen funcionar estrictamente mejor a medida que aumenta el ancho de capa. ^[13]^[14]^[8]^[15]

El NNGP también aparece en varios otros contextos: describe la distribución sobre las predicciones hechas por redes neuronales artificiales no bayesianas amplias después de la inicialización aleatoria de sus parámetros, pero antes del entrenamiento; aparece como un término en las ecuaciones de predicción del núcleo tangente neuronal ; se utiliza en la propagación profunda de información para caracterizar si los hiperparámetros y las arquitecturas serán entrenables. ^[16] Está relacionado con otros límites de gran ancho de redes neuronales .

Una ilustración de dibujos animados

Cuando los parámetros

{\ Displaystyle \ theta}

de una red de ancho infinito se muestrean repetidamente de su anterior

{\ Displaystyle p (\ theta)}

, la distribución resultante sobre las salidas de la red se describe mediante un proceso gaussiano.

Cada ajuste de los parámetros de una red neuronal ${\ Displaystyle \ theta}$ corresponde a una función específica calculada por la red neuronal. Una distribución previa ${\ Displaystyle p (\ theta)}$ por lo tanto, los parámetros de la red neuronal corresponden a una distribución previa de las funciones calculadas por la red. Como las redes neuronales se hacen infinitamente anchas, esta distribución sobre las funciones converge en un proceso gaussiano para muchas arquitecturas.

La figura de la derecha traza las salidas unidimensionales. ${\ Displaystyle z ^ {L} (\ cdot; \ theta)}$ de una red neuronal para dos entradas ${\ Displaystyle x}$ y ${\ Displaystyle x ^ {*}}$ unos contra otros. Los puntos negros muestran la función calculada por la red neuronal en estas entradas para extracciones aleatorias de los parámetros de ${\ Displaystyle p (\ theta)}$ . Las líneas rojas son contornos de isoprobabilidad para la distribución conjunta sobre las salidas de la red. ${\ Displaystyle z ^ {L} (x; \ theta)}$ y ${\ Displaystyle z ^ {L} (x ^ {*}; \ theta)}$ Inducido por ${\ Displaystyle p (\ theta)}$ . Esta es la distribución en el espacio funcional correspondiente a la distribución ${\ Displaystyle p (\ theta)}$ en el espacio de parámetros, y los puntos negros son muestras de esta distribución. Para redes neuronales infinitamente anchas, dado que la distribución sobre las funciones calculadas por la red neuronal es un proceso gaussiano, la distribución conjunta sobre las salidas de la red es un gaussiano multivariado para cualquier conjunto finito de entradas de red.

La notación que se usa en esta sección es la misma que se usa a continuación para derivar la correspondencia entre los NNGP y las redes completamente conectadas, y se pueden encontrar más detalles allí.

Arquitecturas que corresponden a un NNGP

Se ha demostrado que la equivalencia entre redes neuronales bayesianas infinitamente anchas y NNGP es válida para: redes de capa única oculta ^[4] y profunda ^[6]^[7] completamente conectadas, ya que el número de unidades por capa se eleva al infinito; redes neuronales convolucionales a medida que el número de canales se lleva al infinito; ^[8]^[9]^[10] redes de transformadores ya que el número de cabezas de atención se lleva al infinito; ^[17] redes recurrentes ya que el número de unidades se lleva al infinito. ^[12] De hecho, esta correspondencia NNGP es válida para casi cualquier arquitectura: generalmente, si una arquitectura puede expresarse únicamente mediante multiplicación de matrices y no linealidades por coordenadas (es decir, un programa tensorial ), entonces tiene un GP de ancho infinito. ^[12] Este, en particular, incluye todos feedforward o redes neuronales recurrentes compuestas de perceptrón multicapa, las redes neuronales recurrentes (por ejemplo, LSTMs , grus ), (nD o gráfico) de convolución , la puesta en común, omita conexión, la atención, la normalización de lotes , y / o normalización capa .

Se pueden derivar ciertas arquitecturas que permiten que las redes neuronales bayesianas infinitamente anchas produzcan NNGP con núcleos combinados mediante operaciones aditivas y multiplicativas. ^[18]

Correspondencia entre una red completamente conectada infinitamente amplia y un proceso gaussiano

Esta sección amplía la correspondencia entre redes neuronales infinitamente amplias y procesos gaussianos para el caso específico de una arquitectura completamente conectada. Proporciona un esquema de prueba que describe por qué se mantiene la correspondencia e introduce la forma funcional específica del NNGP para redes completamente conectadas. El bosquejo de prueba sigue de cerca el enfoque de Novak, et al., 2018 . ^[8]

Especificación de arquitectura de red

Se deriva un NNGP que es equivalente a una red neuronal bayesiana con esta arquitectura completamente conectada.

Considere una red neuronal artificial completamente conectada con entradas ${\ Displaystyle x}$ , parámetros ${\ Displaystyle \ theta}$ que consta de pesos ${\ Displaystyle W ^ {l}}$ y sesgos ${\ Displaystyle b ^ {l}}$ para cada capa ${\ Displaystyle l}$ en la red, pre-activaciones (pre-no linealidad) ${\ Displaystyle z ^ {l}}$ , activaciones (post-no linealidad) ${\ Displaystyle y ^ {l}}$ , no linealidad puntual ${\ Displaystyle \ phi (\ cdot)}$ y anchos de capa ${\ Displaystyle n ^ {l}}$ . Por simplicidad, el ancho ${\ Displaystyle n ^ {L + 1}}$ del vector de lectura ${\ Displaystyle z ^ {L}}$ se toma como 1. Los parámetros de esta red tienen una distribución previa ${\ Displaystyle p (\ theta)}$ , que consiste en un gaussiano isotrópico para cada peso y sesgo, con la varianza de los pesos escalada inversamente con el ancho de la capa. Esta red se ilustra en la figura de la derecha y se describe mediante el siguiente conjunto de ecuaciones:

{\ displaystyle {\ begin {alineado} x & \ equiv {\ text {input}} \\ y ^ {l} (x) & = \ left \ {{\ begin {array} {lcl} x && l = 0 \\\ phi \ left (z ^ {l-1} (x) \ right) && l> 0 \ end {array}} \ right. \\ z_ {i} ^ {l} (x) & = \ sum _ {j} W_ {ij} ^ {l} y_ {j} ^ {l} (x) + b_ {i} ^ {l} \\ W_ {ij} ^ {l} & \ sim {\ mathcal {N}} \ left (0, {\ frac {\ sigma _ {w} ^ {2}} {n ^ {l}}} \ right) \\ b_ {i} ^ {l} & \ sim {\ mathcal {N}} \ izquierda (0, \ sigma _ {b} ^ {2} \ right) \\\ phi (\ cdot) & \ equiv {\ text {nonlinearity}} \\ y ^ {l} (x), z ^ {l -1} (x) & \ in \ mathbb {R} ^ {n ^ {l} \ times 1} \\ n ^ {L + 1} & = 1 \\\ theta & = \ left \ {W ^ { 0}, b ^ {0}, \ dots, W ^ {L}, b ^ {L} \ right \} \ end {alineado}}}

${\ Displaystyle z ^ {l} | y ^ {l}}$ es un proceso gaussiano

Primero observamos que las preactivaciones ${\ Displaystyle z ^ {l}}$ son descritos por un proceso gaussiano condicionado a las activaciones precedentes ${\ Displaystyle y ^ {l}}$ . Este resultado se mantiene incluso con un ancho finito. Cada preactivación ${\ Displaystyle z_ {i} ^ {l}}$ es una suma ponderada de variables aleatorias gaussianas, correspondiente a los pesos ${\ Displaystyle W_ {ij} ^ {l}}$ y sesgos ${\ Displaystyle b_ {i} ^ {l}}$ , donde los coeficientes para cada una de esas variables gaussianas son las activaciones precedentes ${\ Displaystyle y_ {j} ^ {l}}$ . Debido a que son una suma ponderada de gaussianos de media cero, la ${\ Displaystyle z_ {i} ^ {l}}$ son gaussianos de media cero (condicionados a los coeficientes ${\ Displaystyle y_ {j} ^ {l}}$ ). Desde el ${\ Displaystyle z ^ {l}}$ son conjuntamente gaussianos para cualquier conjunto de ${\ Displaystyle y ^ {l}}$ , son descritos por un proceso gaussiano condicionado a las activaciones precedentes ${\ Displaystyle y ^ {l}}$ . La covarianza o núcleo de este proceso gaussiano depende del peso y las variaciones de sesgo. ${\ Displaystyle \ sigma _ {w} ^ {2}}$ y ${\ Displaystyle \ sigma _ {b} ^ {2}}$ , así como la matriz de segundo momento ${\ Displaystyle K ^ {l}}$ de las activaciones anteriores ${\ Displaystyle y ^ {l}}$ ,

{\ Displaystyle {\ begin {alineado} z_ {i} ^ {l} \ mid y ^ {l} & \ sim {\ mathcal {GP}} \ left (0, \ sigma _ {w} ^ {2} K ^ {l} + \ sigma _ {b} ^ {2} \ right) \\ K ^ {l} (x, x ') & = {\ frac {1} {n ^ {l}}} \ sum _ {i} y_ {i} ^ {l} (x) y_ {i} ^ {l} (x ') \ end {alineado}}}

El efecto de la báscula. ${\ Displaystyle \ sigma _ {w} ^ {2}}$ es reescalar la contribución a la matriz de covarianza de ${\ Displaystyle K ^ {l}}$ , mientras que el sesgo se comparte para todas las entradas, por lo que ${\ Displaystyle \ sigma _ {b} ^ {2}}$ hacer el ${\ Displaystyle z_ {i} ^ {l}}$ para diferentes puntos de datos más similares y hace que la matriz de covarianza se parezca más a una matriz constante.

${\ Displaystyle z ^ {l} | K ^ {l}}$ es un proceso gaussiano

Las preactivaciones ${\ Displaystyle z ^ {l}}$ solo depende de ${\ Displaystyle y ^ {l}}$ a través de su matriz de segundo momento ${\ Displaystyle K ^ {l}}$ . Por esto, podemos decir que ${\ Displaystyle z ^ {l}}$ es un proceso gaussiano condicionado a ${\ Displaystyle K ^ {l}}$ , en lugar de estar condicionado a ${\ Displaystyle y ^ {l}}$ ,

{\ Displaystyle {\ begin {alineado} z_ {i} ^ {l} \ mid K ^ {l} & \ sim {\ mathcal {GP}} \ left (0, \ sigma _ {w} ^ {2} K ^ {l} + \ sigma _ {b} ^ {2} \ right). \ end {alineado}}}

Como ancho de capa ${\ Displaystyle n ^ {l} \ rightarrow \ infty}$ , ${\ Displaystyle K ^ {l} \ mid K ^ {l-1}}$ se vuelve determinista

Como se definió anteriormente, ${\ Displaystyle K ^ {l}}$ es la segunda matriz de momentos de ${\ Displaystyle y ^ {l}}$ . Desde ${\ Displaystyle y ^ {l}}$ es el vector de activación después de aplicar la no linealidad ${\ Displaystyle \ phi}$ , puede ser reemplazado por ${\ Displaystyle \ phi \ left (z ^ {l-1} \ right)}$ , lo que resulta en una ecuación modificada que expresa ${\ Displaystyle K ^ {l}}$ por ${\ Displaystyle l> 0}$ en términos de ${\ Displaystyle z ^ {l-1}}$ ,

{\ Displaystyle {\ begin {alineado} K ^ {l} (x, x ') & = {\ frac {1} {n ^ {l}}} \ sum _ {i} \ phi \ left (z_ {i } ^ {l-1} (x) \ right) \ phi \ left (z_ {i} ^ {l-1} (x ') \ right). \ end {alineado}}}

Ya hemos determinado que ${\ Displaystyle z ^ {l-1} | K ^ {l-1}}$ es un proceso gaussiano. Esto significa que la suma que define ${\ Displaystyle K ^ {l}}$ es un promedio sobre ${\ Displaystyle n ^ {l}}$ muestras de un proceso gaussiano que es una función de ${\ Displaystyle K ^ {l-1}}$ ,

${\ Displaystyle {\ begin {alineado} \ left \ {z_ {i} ^ {l-1} (x), z_ {i} ^ {l-1} (x ') \ right \} & \ sim {\ mathcal {GP}} \ left (0, \ sigma _ {w} ^ {2} K ^ {l-1} + \ sigma _ {b} ^ {2} \ right). \ end {alineado}}}$

Como el ancho de la capa ${\ Displaystyle n ^ {l}}$ va al infinito, este promedio sobre ${\ Displaystyle n ^ {l}}$ las muestras del proceso gaussiano se pueden reemplazar con una integral sobre el proceso gaussiano:

{\ Displaystyle {\ begin {alineado} \ lim _ {n ^ {l} \ rightarrow \ infty} K ^ {l} (x, x ') & = \ int dzdz' \ phi (z) \ phi (z ' ) {\ mathcal {N}} \ left (\ left [{\ begin {array} {c} z \\ z '\ end {array}} \ right]; 0, \ sigma _ {w} ^ {2} \ left [{\ begin {array} {cc} K ^ {l-1} (x, x) & K ^ {l-1} (x, x ') \\ K ^ {l-1} (x', x) & K ^ {l-1} (x ', x') \ end {matriz}} \ derecha] + \ sigma _ {b} ^ {2} \ right) \ end {alineado}}}

Entonces, en el límite de ancho infinito, la segunda matriz de momentos ${\ Displaystyle K ^ {l}}$ para cada par de entradas ${\ Displaystyle x}$ y ${\ Displaystyle x '}$ puede expresarse como una integral sobre un 2d gaussiano, del producto de ${\ Displaystyle \ phi (z)}$ y ${\ Displaystyle \ phi (z ')}$ . Hay una serie de situaciones en las que esto se ha resuelto analíticamente, como cuando ${\ Displaystyle \ phi (\ cdot)}$ es una no linealidad ReLU , ^[19] ELU, GELU, ^[20] o función de error ^[5] . Incluso cuando no se puede resolver analíticamente, dado que es una integral 2d, generalmente se puede calcular numéricamente de manera eficiente. ^[6] Esta integral es determinista, por lo que ${\ Displaystyle K ^ {l} | K ^ {l-1}}$ es determinista.

Para abreviar, definimos un funcional ${\ Displaystyle F}$ , que corresponde a calcular esta integral 2d para todos los pares de entradas, y que mapea ${\ Displaystyle K ^ {l-1}}$ dentro ${\ Displaystyle K ^ {l}}$ ,

{\ displaystyle {\ begin {alineado} \ lim _ {n ^ {l} \ rightarrow \ infty} K ^ {l} & = F \ left (K ^ {l-1} \ right). \ end {alineado} }}

${\ Displaystyle z ^ {L} \ mid x}$ es un NNGP

Aplicando recursivamente la observación de que ${\ Displaystyle K ^ {l} \ mid K ^ {l-1}}$ es determinista como ${\ Displaystyle n ^ {l} \ rightarrow \ infty}$ , ${\ Displaystyle K ^ {L}}$ puede escribirse como una función determinista de ${\ Displaystyle K ^ {0}}$ ,

{\ Displaystyle {\ begin {alineado} \ lim _ {\ min \ left (n ^ {1}, \ dots, n ^ {L} \ right) \ rightarrow \ infty} K ^ {L} & = F \ circ F \ cdots \ left (K ^ {0} \ right) = F ^ {L} \ left (K ^ {0} \ right), \ end {alineado}}}

dónde ${\ Displaystyle F ^ {L}}$ indica la aplicación del funcional ${\ Displaystyle F}$ secuencialmente ${\ Displaystyle L}$ veces. Al combinar esta expresión con las observaciones adicionales que la matriz de segundo momento de la capa de entrada ${\ Displaystyle K ^ {0} (x, x ') = {\ frac {1} {n ^ {0}}} \ sum _ {i} x_ {i} x' _ {i}}$ es una función determinista de la entrada ${\ Displaystyle x}$ , y eso ${\ Displaystyle z ^ {L} | K ^ {L}}$ es un proceso gaussiano, la salida de la red neuronal se puede expresar como un proceso gaussiano en términos de su entrada,

{\ Displaystyle {\ begin {alineado} z_ {i} ^ {L} (x) & \ sim {\ mathcal {GP}} \ left (0, \ sigma _ {w} ^ {2} F ^ {L} \ left (K ^ {0} \ right) + \ sigma _ {b} ^ {2} \ right). \ end {alineado}}}

Bibliotecas de software

Neural Tangents es una biblioteca de Python gratuita y de código abierto que se utiliza para calcular y hacer inferencias con NNGP y el kernel neural tangente correspondiente a varias arquitecturas ANN comunes. ^[21]

Referencias

^ MacKay, David JC (1992). "Un marco práctico bayesiano para redes de retropropagación" . Computación neuronal . 4 (3): 448–472. doi : 10.1162 / neco.1992.4.3.448 . ISSN 0899-7667 . S2CID 16543854 .
^ Neal, Radford M. (2012). Aprendizaje bayesiano para redes neuronales . Springer Science and Business Media.
^ Guo, Chuan; Pleiss, Geoff; Sun, Yu; Weinberger, Kilian Q. (2017). "Sobre la calibración de las redes neuronales modernas". Actas de la 34a Conferencia Internacional sobre Aprendizaje Automático-Volumen 70 . arXiv : 1706.04599 .
^ a b Neal, Radford M. (1996), "Priors for Infinite Networks", Aprendizaje bayesiano para redes neuronales , Lecture Notes in Statistics, 118 , Springer Nueva York, págs. 29-53, doi : 10.1007 / 978-1-4612-0745 -0_2 , ISBN 978-0-387-94724-2
^ a b Williams, Christopher KI (1997). "Computación con redes infinitas". Sistemas de procesamiento de información neuronal .
^ a b c Lee, Jaehoon; Bahri, Yasaman; Novak, Roman; Schoenholz, Samuel S .; Pennington, Jeffrey; Sohl-Dickstein, Jascha (2017). "Redes neuronales profundas como procesos gaussianos". Congreso Internacional de Representaciones del Aprendizaje . arXiv : 1711.00165 . Código Bib : 2017arXiv171100165L .
^ a b G. de G. Matthews, Alexander; Rowland, Mark; Hron, Jiri; Turner, Richard E .; Ghahramani, Zoubin (2017). "Comportamiento del proceso gaussiano en redes neuronales profundas y amplias". Congreso Internacional de Representaciones del Aprendizaje . arXiv : 1804.11271 . Código bibliográfico : 2018arXiv180411271M .
^ a b c d Novak, Roman; Xiao, Lechao; Lee, Jaehoon; Bahri, Yasaman; Yang, Greg; Abolafia, Dan; Pennington, Jeffrey; Sohl-Dickstein, Jascha (2018). "Las redes convolucionales profundas bayesianas con muchos canales son procesos gaussianos". Congreso Internacional de Representaciones del Aprendizaje . arXiv : 1810.05148 . Código bibliográfico : 2018arXiv181005148N .
^ a b Garriga-Alonso, Adrià; Aitchison, Laurence; Rasmussen, Carl Edward (2018). "Redes convolucionales profundas como procesos gaussianos superficiales". Congreso Internacional de Representaciones del Aprendizaje . arXiv : 1808.05587 . Código bibliográfico : 2018arXiv180805587G .
^ a b Borovykh, Anastasia (2018). "Una perspectiva del proceso gaussiano en redes neuronales convolucionales". arXiv : 1810.10798 [ stat.ML ].
^ Tsuchida, Russell; Pearce, Tim; van der Heide, Christopher; Roosta, Fred; Gallagher, Marcus (2020). "Evitar los puntos fijos del núcleo: Computación con ELU y GELU Infinite Networks". arXiv : 2002.08517 [ cs.LG ].
^ a b c Yang, Greg (2019). "Los programas de tensor I: las redes neuronales recurrentes o de retroalimentación amplia de cualquier arquitectura son procesos gaussianos" (PDF) . Avances en sistemas de procesamiento de información neuronal . arXiv : 1910.12478 . Código bibliográfico : 2019arXiv191012478Y .
^ Novak, Roman; Bahri, Yasaman; Abolafia, Daniel A .; Pennington, Jeffrey; Sohl-Dickstein, Jascha (15 de febrero de 2018). "Sensibilidad y generalización en redes neuronales: un estudio empírico" . Congreso Internacional de Representaciones del Aprendizaje . arXiv : 1802.08760 . Código bibliográfico : 2018arXiv180208760N .
^ Canziani, Alfredo; Paszke, Adam; Culurciello, Eugenio (4 de noviembre de 2016). "Un análisis de modelos de redes neuronales profundas para aplicaciones prácticas" . arXiv : 1605.07678 . Código bibliográfico : 2016arXiv160507678C . Cite journal requiere |journal=( ayuda )
^ Neyshabur, Behnam; Li, Zhiyuan; Bhojanapalli, Srinadh; LeCun, Yann; Srebro, Nathan (2019). "Hacia la comprensión del papel de la sobre-parametrización en la generalización de redes neuronales". Congreso Internacional de Representaciones del Aprendizaje . arXiv : 1805.12076 . Código Bib : 2018arXiv180512076N .
^ Schoenholz, Samuel S .; Gilmer, Justin; Ganguli, Surya; Sohl-Dickstein, Jascha (2016). "Propagación profunda de información". Congreso Internacional de Representaciones del Aprendizaje . arXiv : 1611.01232 .
^ Hron, Jiri; Bahri, Yasaman; Sohl-Dickstein, Jascha; Novak, Roman (18 de junio de 2020). "Atención infinita: NNGP y NTK para redes de atención profunda". Congreso Internacional de Machine Learning . 2020 . arXiv : 2006.10540 . Código Bib : 2020arXiv200610540H .
^ Pearce, Tim; Tsuchida, Russell; Brintrup, Alexandra (2019). "Priores expresivos en redes neuronales bayesianas: combinaciones de kernel y funciones periódicas" (PDF) . UAI .
^ Cho, Youngmin; Saul, Lawrence K. (2009). "Métodos de kernel para el aprendizaje profundo" . Sistemas de procesamiento de información neuronal : 342–350.
^ Tsuchida, Russell; Pearce, Tim; van der Heide, Christopher; Roosta, Fred; Gallagher, Marcus (2020). "Evitar los puntos fijos del núcleo: Computación con ELU y GELU Infinite Networks". arXiv : 2002.08517 [ cs.LG ].
^ Novak, Roman; Xiao, Lechao; Hron, Jiri; Lee, Jaehoon; Alemi, Alexander A .; Sohl-Dickstein, Jascha; Schoenholz, Samuel S. (2019-12-05), "Neural Tangents: Fast and Easy Infinite Neural Networks in Python", International Conference on Learning Representations (ICLR) , 2020 , arXiv : 1912.02803 , Bibcode : 2019arXiv191202803N

[1] MacKay, David JC (1992). "Un marco práctico bayesiano para redes de retropropagación" . Computación neuronal . 4 (3): 448–472. doi : 10.1162 / neco.1992.4.3.448 . ISSN 0899-7667 . S2CID 16543854 .

[2] Neal, Radford M. (2012). Aprendizaje bayesiano para redes neuronales . Springer Science and Business Media.

[3] Guo, Chuan; Pleiss, Geoff; Sun, Yu; Weinberger, Kilian Q. (2017). "Sobre la calibración de las redes neuronales modernas". Actas de la 34a Conferencia Internacional sobre Aprendizaje Automático-Volumen 70 . arXiv : 1706.04599 .

[:2-4] Neal, Radford M. (1996), "Priors for Infinite Networks", Aprendizaje bayesiano para redes neuronales , Lecture Notes in Statistics, 118 , Springer Nueva York, págs. 29-53, doi : 10.1007 / 978-1-4612-0745 -0_2 , ISBN 978-0-387-94724-2

[:11-5] Williams, Christopher KI (1997). "Computación con redes infinitas". Sistemas de procesamiento de información neuronal .

[:0-6] Lee, Jaehoon; Bahri, Yasaman; Novak, Roman; Schoenholz, Samuel S .; Pennington, Jeffrey; Sohl-Dickstein, Jascha (2017). "Redes neuronales profundas como procesos gaussianos". Congreso Internacional de Representaciones del Aprendizaje . arXiv : 1711.00165 . Código Bib : 2017arXiv171100165L .

[:3-7] G. de G. Matthews, Alexander; Rowland, Mark; Hron, Jiri; Turner, Richard E .; Ghahramani, Zoubin (2017). "Comportamiento del proceso gaussiano en redes neuronales profundas y amplias". Congreso Internacional de Representaciones del Aprendizaje . arXiv : 1804.11271 . Código bibliográfico : 2018arXiv180411271M .

[:1-8] Novak, Roman; Xiao, Lechao; Lee, Jaehoon; Bahri, Yasaman; Yang, Greg; Abolafia, Dan; Pennington, Jeffrey; Sohl-Dickstein, Jascha (2018). "Las redes convolucionales profundas bayesianas con muchos canales son procesos gaussianos". Congreso Internacional de Representaciones del Aprendizaje . arXiv : 1810.05148 . Código bibliográfico : 2018arXiv181005148N .

[:4-9] Garriga-Alonso, Adrià; Aitchison, Laurence; Rasmussen, Carl Edward (2018). "Redes convolucionales profundas como procesos gaussianos superficiales". Congreso Internacional de Representaciones del Aprendizaje . arXiv : 1808.05587 . Código bibliográfico : 2018arXiv180805587G .

[:9-10] Borovykh, Anastasia (2018). "Una perspectiva del proceso gaussiano en redes neuronales convolucionales". arXiv : 1810.10798 [ stat.ML ].

[11] Tsuchida, Russell; Pearce, Tim; van der Heide, Christopher; Roosta, Fred; Gallagher, Marcus (2020). "Evitar los puntos fijos del núcleo: Computación con ELU y GELU Infinite Networks". arXiv : 2002.08517 [ cs.LG ].

[:5-12] Yang, Greg (2019). "Los programas de tensor I: las redes neuronales recurrentes o de retroalimentación amplia de cualquier arquitectura son procesos gaussianos" (PDF) . Avances en sistemas de procesamiento de información neuronal . arXiv : 1910.12478 . Código bibliográfico : 2019arXiv191012478Y .

[:7-13] Novak, Roman; Bahri, Yasaman; Abolafia, Daniel A .; Pennington, Jeffrey; Sohl-Dickstein, Jascha (15 de febrero de 2018). "Sensibilidad y generalización en redes neuronales: un estudio empírico" . Congreso Internacional de Representaciones del Aprendizaje . arXiv : 1802.08760 . Código bibliográfico : 2018arXiv180208760N .

[:8-14] Canziani, Alfredo; Paszke, Adam; Culurciello, Eugenio (4 de noviembre de 2016). "Un análisis de modelos de redes neuronales profundas para aplicaciones prácticas" . arXiv : 1605.07678 . Código bibliográfico : 2016arXiv160507678C . Cite journal requiere |journal=( ayuda )

[:6-15] Neyshabur, Behnam; Li, Zhiyuan; Bhojanapalli, Srinadh; LeCun, Yann; Srebro, Nathan (2019). "Hacia la comprensión del papel de la sobre-parametrización en la generalización de redes neuronales". Congreso Internacional de Representaciones del Aprendizaje . arXiv : 1805.12076 . Código Bib : 2018arXiv180512076N .

[:10-16] Schoenholz, Samuel S .; Gilmer, Justin; Ganguli, Surya; Sohl-Dickstein, Jascha (2016). "Propagación profunda de información". Congreso Internacional de Representaciones del Aprendizaje . arXiv : 1611.01232 .

[17] Hron, Jiri; Bahri, Yasaman; Sohl-Dickstein, Jascha; Novak, Roman (18 de junio de 2020). "Atención infinita: NNGP y NTK para redes de atención profunda". Congreso Internacional de Machine Learning . 2020 . arXiv : 2006.10540 . Código Bib : 2020arXiv200610540H .

[18] Pearce, Tim; Tsuchida, Russell; Brintrup, Alexandra (2019). "Priores expresivos en redes neuronales bayesianas: combinaciones de kernel y funciones periódicas" (PDF) . UAI .

[19] Cho, Youngmin; Saul, Lawrence K. (2009). "Métodos de kernel para el aprendizaje profundo" . Sistemas de procesamiento de información neuronal : 342–350.

[20] Tsuchida, Russell; Pearce, Tim; van der Heide, Christopher; Roosta, Fred; Gallagher, Marcus (2020). "Evitar los puntos fijos del núcleo: Computación con ELU y GELU Infinite Networks". arXiv : 2002.08517 [ cs.LG ].

[21] Novak, Roman; Xiao, Lechao; Hron, Jiri; Lee, Jaehoon; Alemi, Alexander A .; Sohl-Dickstein, Jascha; Schoenholz, Samuel S. (2019-12-05), "Neural Tangents: Fast and Easy Infinite Neural Networks in Python", International Conference on Learning Representations (ICLR) , 2020 , arXiv : 1912.02803 , Bibcode : 2019arXiv191202803N

[1]