Una máquina de Turing neuronal ( NTM ) es un modelo de red neuronal recurrente . El enfoque fue publicado por Alex Graves et al. en 2014. [1] Las NTM combinan las capacidades de coincidencia de patrones difusos de las redes neuronales con el poder algorítmico de las computadoras programables . Un NTM tiene un controlador de red neuronal acoplado a recursos de memoria externa , con los que interactúa a través de mecanismos de atención. Las interacciones de la memoria son diferenciables de un extremo a otro, lo que permite optimizarlas mediante el descenso de gradientes . [2] Una MNA conEl controlador de red de memoria larga a corto plazo (LSTM) puede inferir algoritmos simples como copiar, clasificar y recordar asociativamente a partir de ejemplos. [1]
Los autores del artículo original de NTM no publicaron su código fuente . [1] La primera implementación estable de código abierto se publicó en 2018 en la 27a Conferencia Internacional sobre Redes Neuronales Artificiales, recibiendo un premio al mejor artículo. [3] [4] [5] Existen otras implementaciones de código abierto de MNA, pero no son lo suficientemente estables para su uso en producción. [6] [7] [8] [9] [10] [11] [12] Los desarrolladores informan que los gradientes de su implementación a veces se convierten en NaN durante el entrenamiento por razones desconocidas y hacen que el entrenamiento falle; [10] [11] [9] informan de una convergencia lenta; [7] [6] o no informan la velocidad de aprendizaje de su implementación. [12] [8]
Las computadoras neuronales diferenciables son una consecuencia de las máquinas de Turing neuronales , con mecanismos de atención que controlan dónde está activa la memoria y mejoran el rendimiento. [13]
Ver también
Referencias
- ^ a b c Graves, Alex; Wayne, Greg; Danihelka, Ivo (2014). "Máquinas de Turing neuronales". arXiv : 1410,5401 [ cs.NE ].
- ^ "Deep Minds: una entrevista con Alex Graves y Koray Kavukcuoglu de Google" . Consultado el 17 de mayo de 2016 .
- ^ Collier, Mark; Beel, Joeran (2018), "Implementing Neural Turing Machines", Artificial Neural Networks and Machine Learning - ICANN 2018 , Springer International Publishing, págs. 94-104, arXiv : 1807.08518 , Bibcode : 2018arXiv180708518C , doi : 10.1007 / 978-3- 030-01424-7_10 , ISBN 9783030014230, S2CID 49908746
- ^ "MarkPKCollier / NeuralTuringMachine" . GitHub . Consultado el 20 de octubre de 2018 .
- ^ Beel, Joeran (20 de octubre de 2018). "Premio al Mejor Trabajo por nuestra Publicación" Implementación de Máquinas Neuronales de Turing "en la 27ª Conferencia Internacional sobre Redes Neuronales Artificiales | Prof. Joeran Beel (TCD Dublin)" . Trinity College Dublin, Blog de la Facultad de Ciencias de la Computación y Estadística . Consultado el 20 de octubre de 2018 .
- ^ a b "snowkylin / ntm" . GitHub . Consultado el 20 de octubre de 2018 .
- ^ a b "chiggum / Neural-Turing-Machines" . GitHub . Consultado el 20 de octubre de 2018 .
- ^ a b "yeoedward / Neural-Turing-Machine" . GitHub . 2017-09-13 . Consultado el 20 de octubre de 2018 .
- ^ a b "camigord / Neural-Turing-Machine" . GitHub . Consultado el 20 de octubre de 2018 .
- ^ a b "carpedm20 / NTM-tensorflow" . GitHub . Consultado el 20 de octubre de 2018 .
- ^ a b "snipsco / ntm-lasaña" . GitHub . Consultado el 20 de octubre de 2018 .
- ^ a b "loudinthecloud / pytorch-ntm" . GitHub . Consultado el 20 de octubre de 2018 .
- ^ Administrador. "Red neuronal diferenciable de DeepMind piensa profundamente" . www.i-programmer.info . Consultado el 20 de octubre de 2016 .