Esta página es una cronología del aprendizaje automático . Se incluyen los principales descubrimientos, logros, hitos y otros eventos importantes.
Descripción general
Década | Resumen |
---|---|
<1950 | Los métodos estadísticos se descubren y perfeccionan. |
1950 | La investigación pionera en aprendizaje automático se lleva a cabo utilizando algoritmos simples. |
1960 | Se introducen métodos bayesianos para la inferencia probabilística en el aprendizaje automático. [1] |
1970 | ' AI Winter ' causado por el pesimismo sobre la efectividad del aprendizaje automático. |
Decenio de 1980 | El redescubrimiento de la retropropagación provoca un resurgimiento en la investigación del aprendizaje automático. |
Decenio de 1990 | El trabajo en el aprendizaje automático cambia de un enfoque basado en el conocimiento a un enfoque basado en datos. Los científicos comienzan a crear programas para computadoras para analizar grandes cantidades de datos y sacar conclusiones, o "aprender", de los resultados. [2] Las máquinas de vectores de soporte (SVM) y las redes neuronales recurrentes (RNN) se vuelven populares. [3] Comenzaron los campos de la complejidad computacional a través de redes neuronales y el cálculo de super-Turing. [4] |
2000 | La agrupación de vectores de soporte [5] y otros métodos del kernel [6] y los métodos de aprendizaje automático no supervisados se generalizan. [7] |
2010 | El aprendizaje profundo se vuelve factible, lo que lleva a que el aprendizaje automático se convierta en parte integral de muchos servicios y aplicaciones de software ampliamente utilizados. |
Cronología
Año | Tipo de evento | Subtítulo | Evento |
---|---|---|---|
1763 | Descubrimiento | Los fundamentos del teorema de Bayes | Thomas Bayes trabajo 's Un ensayo hacia la solución de un problema en la Doctrina de Lo más probable es publicada dos años después de su muerte, habiendo sido modificado y editado por un amigo de Bayes, Richard Price . [8] El ensayo presenta trabajos que sustentan el teorema de Bayes . |
1805 | Descubrimiento | Mínimos cuadrados | Adrien-Marie Legendre describe el "méthode des moindres carrés", conocido en inglés como el método de mínimos cuadrados . [9] El método de mínimos cuadrados se utiliza ampliamente en el ajuste de datos . |
1812 | Teorema de Bayes | Pierre-Simon Laplace publica Théorie Analytique des Probabilités , en la que amplía la obra de Bayes y define lo que ahora se conoce como Teorema de Bayes . [10] | |
1913 | Descubrimiento | Cadenas de Markov | Andrey Markov describe por primera vez las técnicas que utilizó para analizar un poema. Las técnicas más tarde se conocerán como cadenas de Markov . [11] |
1950 | La máquina de aprendizaje de Turing | Alan Turing propone una 'máquina de aprendizaje' que podría aprender y volverse artificialmente inteligente. La propuesta específica de Turing presagia algoritmos genéticos . [12] | |
1951 | Primera máquina de red neuronal | Marvin Minsky y Dean Edmonds construyen la primera máquina de red neuronal, capaz de aprender, la SNARC . [13] | |
1952 | Máquinas jugando a las damas | Arthur Samuel se une al Laboratorio Poughkeepsie de IBM y comienza a trabajar en algunos de los primeros programas de aprendizaje automático, primero creando programas que juegan a las damas . [14] | |
1957 | Descubrimiento | Perceptrón | Frank Rosenblatt inventa el perceptrón mientras trabajaba en el Laboratorio Aeronáutico de Cornell . [15] La invención del perceptrón generó mucho entusiasmo y fue ampliamente cubierta por los medios de comunicación. [dieciséis] |
1963 | Logro | Máquinas que juegan Tic-Tac-Toe | Donald Michie crea una 'máquina' que consta de 304 cajas de fósforos y cuentas, que utiliza el aprendizaje por refuerzo para jugar Tic-tac-toe (también conocido como ceros y cruces). [17] |
1967 | Vecino más cercano | Se creó el algoritmo de vecino más cercano , que es el comienzo del reconocimiento de patrones básico. El algoritmo se utilizó para mapear rutas. [2] | |
1969 | Limitaciones de las redes neuronales | Marvin Minsky y Seymour Papert publican su libro Perceptrons , que describe algunas de las limitaciones de los perceptrons y las redes neuronales. La interpretación de que el libro muestra que las redes neuronales son fundamentalmente limitadas se considera un obstáculo para la investigación de las redes neuronales. [18] [19] | |
1970 | Diferenciación automática (retropropagación) | Seppo Linnainmaa publica el método general para la diferenciación automática (AD) de redes conectadas discretas de funciones diferenciables anidadas. [20] [21] Esto corresponde a la versión moderna de retropropagación, pero aún no se denomina como tal. [22] [23] [24] [25] | |
1979 | Carrito de Stanford | Los estudiantes de la Universidad de Stanford desarrollan un carro que puede navegar y evitar obstáculos en una habitación. [2] | |
1979 | Descubrimiento | Neocognitron | Kunihiko Fukushima publica por primera vez su trabajo sobre el neocognitrón , un tipo de red neuronal artificial (ANN). [26] [27] La neocognición más tarde inspira redes neuronales convolucionales (CNN). [28] |
1981 | Aprendizaje basado en explicaciones | Gerald Dejong presenta el aprendizaje basado en explicaciones, donde un algoritmo informático analiza datos y crea una regla general que puede seguir y descartar datos sin importancia. [2] | |
mil novecientos ochenta y dos | Descubrimiento | Red neuronal recurrente | John Hopfield populariza las redes Hopfield , un tipo de red neuronal recurrente que puede servir como sistemas de memoria direccionables por contenido . [29] |
1985 | NetTalk | Terry Sejnowski desarrolla un programa que aprende a pronunciar palabras de la misma manera que lo hace un bebé. [2] | |
1986 | Solicitud | Retropropagación | El modo inverso de diferenciación automática de Seppo Linnainmaa (aplicado por primera vez a las redes neuronales por Paul Werbos ) se utiliza en experimentos de David Rumelhart , Geoff Hinton y Ronald J. Williams para aprender las representaciones internas . [30] |
1989 | Descubrimiento | Aprendizaje reforzado | Christopher Watkins desarrolla Q-learning , que mejora en gran medida la practicidad y viabilidad del aprendizaje por refuerzo . [31] |
1989 | Comercialización | Comercialización de Machine Learning en Computadoras Personales | Axcelis, Inc. lanza Evolver , el primer paquete de software para comercializar el uso de algoritmos genéticos en computadoras personales. [32] |
1992 | Logro | Máquinas jugando al backgammon | Gerald Tesauro desarrolla TD-Gammon , un programa de backgammon informático que utiliza una red neuronal artificial entrenada mediante el aprendizaje de diferencias temporales (de ahí el 'TD' en el nombre). TD-Gammon puede rivalizar, pero no superar constantemente, las habilidades de los mejores jugadores humanos de backgammon. [33] |
1995 | Descubrimiento | Algoritmo de bosque aleatorio | Tin Kam Ho publica un artículo que describe los bosques de decisiones aleatorias . [34] |
1995 | Descubrimiento | Máquinas de vectores de soporte | Corinna Cortes y Vladimir Vapnik publican su trabajo en máquinas de vectores de soporte . [35] [36] |
1997 | Logro | IBM Deep Blue vence a Kasparov | Deep Blue de IBM vence al campeón mundial de ajedrez. [2] |
1997 | Descubrimiento | LSTM | Sepp Hochreiter y Jürgen Schmidhuber inventan redes neuronales recurrentes de memoria a corto plazo a largo plazo (LSTM), [37] mejorando en gran medida la eficiencia y la practicidad de las redes neuronales recurrentes. |
1998 | Base de datos MNIST | Un equipo dirigido por Yann LeCun publica la base de datos MNIST , un conjunto de datos que comprende una combinación de dígitos escritos a mano de empleados de la Oficina del Censo de Estados Unidos y estudiantes de secundaria estadounidenses. [38] La base de datos MNIST se ha convertido desde entonces en un punto de referencia para evaluar el reconocimiento de escritura a mano . | |
2002 | Biblioteca de aprendizaje automático de Torch | Se lanza por primera vez Torch , una biblioteca de software para el aprendizaje automático. [39] | |
2006 | El premio Netflix | El Premio Netflix competencia es lanzado por Netflix . El objetivo de la competencia era utilizar el aprendizaje automático para superar la precisión del propio software de recomendación de Netflix al predecir la calificación de un usuario para una película dada su calificación de películas anteriores en al menos un 10%. [40] El premio se ganó en 2009. | |
2009 | Logro | ImageNet | Se crea ImageNet . ImageNet es una gran base de datos visual imaginada por Fei-Fei Li de la Universidad de Stanford, quien se dio cuenta de que los mejores algoritmos de aprendizaje automático no funcionarían bien si los datos no reflejaran el mundo real. [41] Para muchos, ImageNet fue el catalizador del boom de la IA [42] del siglo XXI. |
2010 | Competencia Kaggle | Se lanza Kaggle , un sitio web que sirve como plataforma para competencias de aprendizaje automático. [43] | |
2011 | Logro | Golpear a los humanos en peligro | Usando una combinación de aprendizaje automático, procesamiento de lenguaje natural y de información técnicas de recuperación, IBM 's Watson gana a dos campeones humanos en un peligro! competencia. [44] |
2012 | Logro | Reconociendo gatos en YouTube | El equipo de Google Brain , dirigido por Andrew Ng y Jeff Dean , crea una red neuronal que aprende a reconocer gatos al ver imágenes sin etiquetas tomadas de fotogramas de videos de YouTube . [45] [46] |
2014 | Salto en el reconocimiento facial | Los investigadores de Facebook publican su trabajo en DeepFace , un sistema que utiliza redes neuronales que identifica caras con un 97,35% de precisión. Los resultados son una mejora de más del 27% con respecto a los sistemas anteriores y rivalizan con el desempeño humano. [47] | |
2014 | Sibila | Los investigadores de Google detallan su trabajo en Sibyl, [48] una plataforma patentada para el aprendizaje automático paralelo masivo que utiliza internamente Google para hacer predicciones sobre el comportamiento del usuario y proporcionar recomendaciones. [49] | |
2016 | Logro | Vencer a los humanos en Go | El programa AlphaGo de Google se convierte en el primer programa Computer Go en vencer a un jugador humano profesional sin discapacidades [50] utilizando una combinación de aprendizaje automático y técnicas de búsqueda de árboles. [51] Posteriormente mejoró como AlphaGo Zero y luego en 2017 se generalizó a Ajedrez y más juegos de dos jugadores con AlphaZero . |
Ver también
- Historia de la inteligencia artificial
- Aprendizaje automático
- Cronología de la inteligencia artificial
- Cronología de la traducción automática
Referencias
- ^ Solomonoff, Ray J. "Una teoría formal de la inferencia inductiva. Parte II". Información y control 7.2 (1964): 224-254.
- ^ a b c d e f Marr, Bernard. "Una breve historia del aprendizaje automático: todo gerente debería leer" . Forbes . Consultado el 28 de septiembre de 2016 .
- ^ Siegelmann, Hava; Sontag, Eduardo (1995). "Poder computacional de las redes neuronales". Revista de Ciencias de la Computación y Sistemas . 50 (1): 132–150. doi : 10.1006 / jcss.1995.1013 .
- ^ Siegelmann, Hava (1995). "Computación más allá del límite de Turing". Revista de Ciencias de la Computación y Sistemas . 238 (28): 632–637. Código Bibliográfico : 1995Sci ... 268..545S . doi : 10.1126 / science.268.5210.545 . PMID 17756722 .
- ^ Ben-Hur, Asa; Horn, David; Siegelmann, Hava; Vapnik, Vladimir (2001). "Apoyo a la agrupación de vectores". Revista de investigación sobre aprendizaje automático . 2 : 51–86.
- ^ Hofmann, Thomas; Schölkopf, Bernhard; Smola, Alexander J. (2008). "Métodos de kernel en aprendizaje automático" . The Annals of Statistics . 36 (3): 1171-1220. doi : 10.1214 / 009053607000000677 . JSTOR 25464664 .
- ^ Bennett, James; Lanning, Stan (2007). "El premio netflix" (PDF) . Actas de KDD Cup y Workshop 2007 .
- ^ Bayes, Thomas (1 de enero de 1763). "Ensayo para resolver un problema en la doctrina del azar" . Transacciones filosóficas . 53 : 370–418. doi : 10.1098 / rstl.1763.0053 . JSTOR 105741 .
- ^ Legendre, Adrien-Marie (1805). Nouvelles méthodes pour la détermination des orbites des comètes (en francés). París: Firmin Didot. pag. viii . Consultado el 13 de junio de 2016 .
- ^ O'Connor, JJ; Robertson, E F. "Pierre-Simon Laplace" . Escuela de Matemáticas y Estadística, Universidad de St Andrews, Escocia . Consultado el 15 de junio de 2016 .
- ^ Hayes, Brian (2013). "Primeros eslabones de la cadena de Markov" . Científico estadounidense . Sigma Xi, Sociedad de Investigación Científica. 101 (marzo-abril de 2013): 92. doi : 10.1511 / 2013.101.1 . Consultado el 15 de junio de 2016 .
Profundizando en el texto de la novela de Alexander Pushkin en verso Eugene Onegin, Markov pasó horas examinando patrones de vocales y consonantes. El 23 de enero de 1913 resumió sus hallazgos en un discurso en la Academia Imperial de Ciencias de San Petersburgo. Su análisis no alteró la comprensión o la apreciación del poema de Pushkin, pero la técnica que desarrolló, ahora conocida como cadena de Markov, extendió la teoría de la probabilidad en una nueva dirección.
- ^ Turing, Alan (octubre de 1950). "Maquinaria e Inteligencia Informática" . Mente . 59 (236): 433–460. doi : 10.1093 / mind / LIX.236.433 . Consultado el 8 de junio de 2016 .
- ^ Crevier 1993 , págs. 34-35 y Russell y Norvig 2003 , pág. 17
- ^ McCarthy, John; Feigenbaum, Ed. "Arthur Samuel: pionero en aprendizaje automático" . Revista AI (3). Asociación para el Avance de la Inteligencia Artificial. pag. 10 . Consultado el 5 de junio de 2016 .
- ^ Rosenblatt, Frank (1958). "El perceptrón: un modelo probabilístico para el almacenamiento y la organización de la información en el cerebro" (PDF) . Revisión psicológica . 65 (6): 386–408. doi : 10.1037 / h0042519 . PMID 13602029 .
- ^ Mason, Harding; Stewart, D; Gill, Brendan (6 de diciembre de 1958). "Rival" . The New Yorker . Consultado el 5 de junio de 2016 .
- ^ Child, Oliver (13 de marzo de 2016). "Amenaza: lectura del motor de cruces y nudos educativos de la máquina" . Revista Chalkdust . Consultado el 16 de enero de 2018 .
- ^ Cohen, Harvey. "El Perceptrón" . Consultado el 5 de junio de 2016 .
- ^ Colner, Robert (4 de marzo de 2016). "Una breve historia del aprendizaje automático" . SlideShare . Consultado el 5 de junio de 2016 .
- ^ Seppo Linnainmaa (1970). "La representación del error de redondeo acumulativo de un algoritmo como una expansión de Taylor de los errores de redondeo locales". Tesis de Maestría (en finlandés), Univ. Helsinki, 6–7.
- ^ Linnainmaa, Seppo (1976). "Expansión de Taylor del error de redondeo acumulado". BIT Matemáticas numéricas . 16 (2): 146–160. doi : 10.1007 / BF01931367 .
- ^ Griewank, Andreas (2012). "¿Quién inventó el modo inverso de diferenciación?". Documenta Matematica, volumen adicional ISMP : 389–400.
- ^ Griewank, Andreas y Walther, A. Principios y técnicas de diferenciación algorítmica, segunda edición . SIAM, 2008.
- ^ Schmidhuber, Jürgen (2015). "Aprendizaje profundo en redes neuronales: una visión general". Redes neuronales . 61 : 85-117. arXiv : 1404,7828 . Código bibliográfico : 2014arXiv1404.7828S . doi : 10.1016 / j.neunet.2014.09.003 . PMID 25462637 .
- ^ Schmidhuber, Jürgen (2015). "Deep Learning (sección sobre retropropagación)" . Scholarpedia . 10 (11): 32832. Código bibliográfico : 2015SchpJ..1032832S . doi : 10.4249 / scholarpedia.32832 .
- ^ Fukushima, Kunihiko (octubre de 1979). "位置 ず れ に 影響 さ れ な い パ タ ー ン 認識 機構 の 神 経 回路 の モ デ ル --- ネ オ コ グ ニ ト ロ ン ---" [Modelo de red neuronal para un mecanismo de reconocimiento de patrones que no se ve afectado por el cambio de posición - Neocognitron -]. Trans. IECE (en japonés). J62-A (10): 658–665.
- ^ Fukushima, Kunihiko (abril de 1980). "Neocognitron: un modelo de red neuronal autoorganizada para un mecanismo de patrón El Recognitron no se ve afectado por el cambio de posición" (PDF) . Cibernética biológica . 36 (4): 193–202. doi : 10.1007 / bf00344251 . PMID 7370364 . Consultado el 5 de junio de 2016 .
- ^ Le Cun, Yann. "Aprendizaje profundo". CiteSeerX 10.1.1.297.6176 . Cite journal requiere
|journal=
( ayuda ) - ^ Hopfield, John (abril de 1982). "Redes neuronales y sistemas físicos con habilidades computacionales colectivas emergentes" (PDF) . Actas de la Academia Nacional de Ciencias de los Estados Unidos de América . 79 (8): 2554-2558. Código Bibliográfico : 1982PNAS ... 79.2554H . doi : 10.1073 / pnas.79.8.2554 . PMC 346238 . PMID 6953413 . Consultado el 8 de junio de 2016 .
- ^ Rumelhart, David; Hinton, Geoffrey; Williams, Ronald (9 de octubre de 1986). "Aprendizaje de representaciones mediante retropropagación de errores" (PDF) . Naturaleza . 323 (6088): 533–536. Código Bibliográfico : 1986Natur.323..533R . doi : 10.1038 / 323533a0 . Consultado el 5 de junio de 2016 .
- ^ Watksin, Christopher (1 de mayo de 1989). "Aprendiendo de las recompensas retrasadas" (PDF) . Cite journal requiere
|journal=
( ayuda ) - ^ Markoff, John (29 de agosto de 1990). "TECNOLOGÍA EMPRESARIAL; ¿Cuál es la mejor respuesta? Es la supervivencia del más apto" . New York Times . Consultado el 8 de junio de 2016 .
- ^ Tesauro, Gerald (marzo de 1995). "Aprendizaje de la diferencia temporal y TD-Gammon" . Comunicaciones de la ACM . 38 (3): 58–68. doi : 10.1145 / 203330.203343 .
- ^ Ho, Tin Kam (agosto de 1995). "Bosques de decisión aleatoria" (PDF) . Actas de la Tercera Conferencia Internacional sobre Análisis y Reconocimiento de Documentos . Montreal, Quebec: IEEE. 1 : 278-282. doi : 10.1109 / ICDAR.1995.598994 . ISBN 0-8186-7128-9. Consultado el 5 de junio de 2016 .
- ^ Golge, Eren. "BREVE HISTORIA DEL APRENDIZAJE MÁQUINA" . Un blog de un ser humano-ingeniero . Consultado el 5 de junio de 2016 .
- ^ Cortés, Corinna; Vapnik, Vladimir (septiembre de 1995). "Redes de vectores de soporte" . Aprendizaje automático . Editores académicos de Kluwer. 20 (3): 273-297. doi : 10.1007 / BF00994018 . ISSN 0885-6125 .
- ^ Hochreiter, Sepp; Schmidhuber, Jürgen (1997). "Memoria a corto plazo" (PDF) . Computación neuronal . 9 (8): 1735-1780. doi : 10.1162 / neco.1997.9.8.1735 . PMID 9377276 . Archivado desde el original (PDF) el 26 de mayo de 2015.
- ^ LeCun, Yann; Cortés, Corinna; Burges, Christopher. "LA BASE DE DATOS MNIST de dígitos escritos a mano" . Consultado el 16 de junio de 2016 .
- ^ Collobert, Ronan; Benigo, Samy; Mariethoz, Johnny (30 de octubre de 2002). "Torch: una biblioteca de software de aprendizaje automático modular" (PDF) . Consultado el 5 de junio de 2016 . Cite journal requiere
|journal=
( ayuda ) - ^ "Las reglas del premio de Netflix" . Premio Netflix . Netflix. Archivado desde el original el 3 de marzo de 2012 . Consultado el 16 de junio de 2016 .
- ^ Gershgorn, Dave. "ImageNet: los datos que engendraron el boom de la IA actual - Quartz" . qz.com . Consultado el 30 de marzo de 2018 .
- ^ Hardy, Quentin (18 de julio de 2016). "Razones para creer que el auge de la IA es real" . The New York Times . ISSN 0362-4331 . Consultado el 30 de marzo de 2018 .
- ^ "Acerca de" . Kaggle . Kaggle Inc . Consultado el 16 de junio de 2016 .
- ^ Markoff, John (17 de febrero de 2011). "Computadora gana en 'Jeopardy!': Trivial, no lo es" . New York Times . pag. A1 . Consultado el 5 de junio de 2016 .
- ^ Le, Quoc V .; Ranzato, Marc'Aurelio; Monga, Rajat; Devin, Matthieu; Corrado, Greg; Chen, Kai; Dean, Jeffrey; Ng, Andrew Y. (2012). "Creación de funciones de alto nivel mediante el aprendizaje no supervisado a gran escala" (PDF) . Actas de la 29a Conferencia Internacional sobre Aprendizaje Automático, ICML 2012, Edimburgo, Escocia, Reino Unido, 26 de junio al 1 de julio de 2012 . icml.cc / Omnipress. arXiv : 1112.6209 . Código bibliográfico : 2011arXiv1112.6209L .
- ^ Markoff, John (26 de junio de 2012). "¿Cuántas computadoras para identificar un gato? 16.000" . New York Times . pag. B1 . Consultado el 5 de junio de 2016 .
- ^ Taigman, Yaniv; Yang, Ming; Ranzato, Marc'Aurelio; Wolf, Lior (24 de junio de 2014). "DeepFace: cerrar la brecha al rendimiento a nivel humano en la verificación facial" . Conferencia sobre Visión por Computador y Reconocimiento de Patrones . Consultado el 8 de junio de 2016 .
- ^ Canini, Kevin; Chandra, Tushar; Es decir, Eugene; McFadden, Jim; Goldman, Ken; Gunter, Mike; Harmsen, Jeremiah; LeFevre, Kristen; Lepikhin, Dmitry; Llinares, Tomas Lloret; Mukherjee, Indraneel; Pereira, Fernando; Redstone, Josh; Sacudido, Tal; Cantante, Yoram. "Sibyl: un sistema para el aprendizaje automático supervisado a gran escala" (PDF) . Escuela de Ingeniería Jack Baskin . UC Santa Cruz . Consultado el 8 de junio de 2016 .
- ^ Woodie, Alex (17 de julio de 2014). "Inside Sibyl, plataforma de aprendizaje automático masivo paralelo de Google" . Datanami . Tabor Communications . Consultado el 8 de junio de 2016 .
- ^ "Google logra el 'avance' de la IA al vencer al campeón de Go" . BBC News . BBC. 27 de enero de 2016 . Consultado el 5 de junio de 2016 .
- ^ "AlphaGo" . Google DeepMind . Google Inc . Consultado el 5 de junio de 2016 .