La comprensión del lenguaje natural ( NLU ) o la interpretación del lenguaje natural ( NLI ) [1] es un subtema del procesamiento del lenguaje natural en la inteligencia artificial que se ocupa de la comprensión de lectura automática . La comprensión del lenguaje natural se considera un problema difícil de la IA . [2]
Existe un interés comercial considerable en el campo debido a su aplicación al razonamiento automatizado , [3] traducción automática , [4] respuesta a preguntas , [5] recopilación de noticias, categorización de texto , activación por voz , archivo y análisis de contenido a gran escala . .
Historia
El programa ESTUDIANTE , escrito en 1964 por Daniel Bobrow para su tesis doctoral en el MIT , es uno de los primeros intentos conocidos de comprensión del lenguaje natural por computadora. [6] [7] [8] [9] [10] Ocho años después de que John McCarthy acuñara el término inteligencia artificial , la tesis de Bobrow (titulada Entrada de lenguaje natural para un sistema de resolución de problemas de computadora ) mostró cómo una computadora podía entender la entrada de lenguaje natural simple para resolver problemas verbales de álgebra.
Un año después, en 1965, Joseph Weizenbaum del MIT escribió ELIZA , un programa interactivo que llevaba a cabo un diálogo en inglés sobre cualquier tema, siendo el más popular la psicoterapia. ELIZA trabajó con un simple análisis sintáctico y sustitución de palabras clave en frases enlatadas y Weizenbaum evitó el problema de darle al programa una base de datos de conocimiento del mundo real o un rico léxico . Sin embargo, ELIZA ganó una popularidad sorprendente como proyecto de juguetes y puede verse como un precursor muy temprano de los sistemas comerciales actuales, como los utilizados por Ask.com . [11]
En 1969 Roger Schank de la Universidad de Stanford introdujo la teoría de la dependencia conceptual para la comprensión del lenguaje natural. [12] Este modelo, parcialmente influenciado por el trabajo de Sydney Lamb , fue ampliamente utilizado por los estudiantes de Schank en la Universidad de Yale , como Robert Wilensky , Wendy Lehnert y Janet Kolodner .
En 1970, William A. Woods introdujo la red de transición aumentada (ATN) para representar la entrada del lenguaje natural. [13] En lugar de reglas de estructura de frases, los ATN utilizaron un conjunto equivalente de autómatas de estado finito que se llamaban de forma recursiva. Los ATN y su formato más general llamado "ATN generalizados" continuaron utilizándose durante varios años.
En 1971 Terry Winograd terminó de escribir SHRDLU para su tesis doctoral en el MIT. SHRDLU podía entender oraciones simples en inglés en un mundo restringido de bloques para niños para dirigir un brazo robótico para mover elementos. La exitosa demostración de SHRDLU proporcionó un impulso significativo para la investigación continua en el campo. [14] [15] Winograd continuó siendo una gran influencia en el campo con la publicación de su libro Language as a Cognitive Process . [16] En Stanford, Winograd más tarde asesoraría a Larry Page , quien cofundó Google .
En las décadas de 1970 y 1980, el grupo de procesamiento del lenguaje natural de SRI International continuó la investigación y el desarrollo en el campo. Se emprendieron una serie de esfuerzos comerciales basados en la investigación, por ejemplo , en 1982 Gary Hendrix formó Symantec Corporation originalmente como una compañía para desarrollar una interfaz de lenguaje natural para consultas de bases de datos en computadoras personales. Sin embargo, con la llegada de las interfaces gráficas de usuario con mouse , Symantec cambió de dirección. Varios otros esfuerzos comerciales se iniciaron aproximadamente al mismo tiempo, por ejemplo , Larry R. Harris en la Corporación de Inteligencia Artificial y Roger Schank y sus estudiantes en Cognitive Systems Corp. [17] [18] En 1983, Michael Dyer desarrolló el sistema BORIS en Yale, que tenía similitudes con el trabajo de Roger Schank y WG Lehnert. [19]
El tercer milenio vio la introducción de sistemas que utilizan el aprendizaje automático para la clasificación de texto, como IBM Watson . Sin embargo, los expertos debaten cuánto "comprensión" demuestran tales sistemas: por ejemplo , según John Searle , Watson ni siquiera entendía las preguntas. [20]
John Ball, científico cognitivo e inventor de Patom Theory , apoya esta evaluación. El procesamiento del lenguaje natural ha hecho avances en las aplicaciones para respaldar la productividad humana en el servicio y el comercio electrónico, pero esto ha sido posible en gran medida al reducir el alcance de la aplicación. Hay miles de formas de solicitar algo en un lenguaje humano que aún desafía el procesamiento convencional del lenguaje natural. "Tener una conversación significativa con las máquinas solo es posible cuando hacemos coincidir cada palabra con el significado correcto en función de los significados de las otras palabras en la oración, al igual que lo hace un niño de 3 años sin conjeturas".
Alcance y contexto
El término general "comprensión del lenguaje natural" se puede aplicar a un conjunto diverso de aplicaciones informáticas, que van desde tareas pequeñas y relativamente simples, como comandos breves emitidos a robots , hasta tareas muy complejas, como la comprensión completa de artículos de periódicos o pasajes de poesía. . Muchas aplicaciones del mundo real se encuentran entre los dos extremos, por ejemplo, la clasificación de texto para el análisis automático de correos electrónicos y su enrutamiento a un departamento adecuado en una corporación no requiere una comprensión profunda del texto, [21] pero debe tratar con un vocabulario mucho más amplio y una sintaxis más diversa que la gestión de consultas simples a tablas de bases de datos con esquemas fijos.
A lo largo de los años, se han realizado varios intentos de procesar el lenguaje natural o las oraciones similares al inglés presentadas a las computadoras con diversos grados de complejidad. Algunos intentos no han dado como resultado sistemas con un conocimiento profundo, pero han ayudado a la usabilidad general del sistema. Por ejemplo, Wayne Ratliff desarrolló originalmente el programa Vulcan con una sintaxis similar al inglés para imitar la computadora de habla inglesa en Star Trek . Vulcan se convirtió más tarde en el sistema dBase cuya sintaxis fácil de usar lanzó efectivamente la industria de bases de datos de computadoras personales. [22] [23] Los sistemas con una sintaxis fácil de usar o similar al inglés son, sin embargo, bastante distintos de los sistemas que usan un léxico rico e incluyen una representación interna (a menudo como lógica de primer orden ) de la semántica de las oraciones del lenguaje natural.
Por lo tanto, la amplitud y profundidad de la "comprensión" que busca un sistema determina tanto la complejidad del sistema (y los desafíos implícitos) como los tipos de aplicaciones que puede abordar. La "amplitud" de un sistema se mide por el tamaño de su vocabulario y gramática. La "profundidad" se mide por el grado en que su comprensión se aproxima a la de un hablante nativo fluido. En los casos más estrechos y superficiales, los intérpretes de comandos similares al inglés requieren una complejidad mínima, pero tienen una pequeña gama de aplicaciones. Los sistemas estrechos pero profundos exploran y modelan mecanismos de comprensión, [24] pero aún tienen una aplicación limitada. Los sistemas que intentan comprender el contenido de un documento, como un comunicado de prensa, más allá de la simple coincidencia de palabras clave y juzgar su idoneidad para un usuario, son más amplios y requieren una complejidad significativa, [25] pero todavía son algo superficiales. Los sistemas que son a la vez muy amplios y muy profundos están más allá del estado actual de la técnica.
Componentes y arquitectura
Independientemente del enfoque utilizado, la mayoría de los sistemas de comprensión del lenguaje natural comparten algunos componentes comunes. El sistema necesita un léxico del lenguaje y un analizador sintáctico y reglas gramaticales para dividir las oraciones en una representación interna. La construcción de un léxico rico con una ontología adecuada requiere un esfuerzo significativo, por ejemplo , el léxico de Wordnet requirió muchos años-persona de esfuerzo. [26]
El sistema también necesita teoría de la semántica para orientar la comprensión. Las capacidades de interpretación de un sistema de comprensión del lenguaje dependen de la teoría semántica que utiliza. Las teorías semánticas del lenguaje en competencia tienen contrapartidas específicas en su idoneidad como base de la interpretación semántica automatizada por computadora. [27] Estos van desde la semántica ingenua o el análisis semántico estocástico hasta el uso de la pragmática para derivar el significado del contexto. [28] [29] [30] Los analizadores sintácticos semánticos convierten textos en lenguaje natural en representaciones formales de significado. [31]
Las aplicaciones avanzadas de la comprensión del lenguaje natural también intentan incorporar la inferencia lógica dentro de su marco. Esto generalmente se logra mapeando el significado derivado en un conjunto de afirmaciones en la lógica de predicados , luego usando la deducción lógica para llegar a conclusiones. Por lo tanto, los sistemas basados en lenguajes funcionales como Lisp necesitan incluir un subsistema para representar aserciones lógicas, mientras que los sistemas orientados a la lógica como los que usan el lenguaje Prolog generalmente se basan en una extensión del marco de representación lógica incorporado. [32] [33]
La gestión del contexto en la comprensión del lenguaje natural puede presentar desafíos especiales. Una gran variedad de ejemplos y contraejemplos han dado como resultado múltiples enfoques para el modelado formal del contexto, cada uno con fortalezas y debilidades específicas. [34] [35]
Ver también
- Semántica computacional
- Ligüística computacional
- Teoría de la representación del discurso
- Procesamiento lingüístico profundo
- Historia del procesamiento del lenguaje natural
- Extracción de información
- Mathematica [36] [37] [38]
- Programación en lenguaje natural
- Interfaz de usuario de lenguaje natural
- Siri (software)
- Wolfram Alpha
- Extracción de información abierta
- Etiquetado de parte de la voz
- Reconocimiento de voz
Notas
- ^ Semaan, P. (2012). Generación de lenguaje natural: una descripción general . Revista de Investigación y Ciencias de la Computación (JCSCR) -ISSN, 50-57
- ^ Roman V. Yampolskiy. Prueba de Turing como característica definitoria de la completitud de la IA. En Inteligencia Artificial, Computación Evolutiva y Metaheurística (AIECM) - Siguiendo los pasos de Alan Turing. Xin-She Yang (Ed.). págs. 3-17. (Capítulo 1). Springer, Londres. 2013. http://cecs.louisville.edu/ry/TuringTestasaDefiningFeature04270003.pdf
- ^ Van Harmelen, Frank, Vladimir Lifschitz y Bruce Porter, eds. Manual de representación del conocimiento . Vol. 1. Elsevier, 2008.
- ^ Macherey, Klaus, Franz Josef Och y Hermann Ney. " Comprensión del lenguaje natural mediante traducción automática estadística ". Séptima Conferencia Europea de Comunicación y Tecnología del Habla. 2001.
- ^ Hirschman, Lynette y Robert Gaizauskas. " Respuesta a la pregunta en lenguaje natural: la vista desde aquí ". ingeniería del lenguaje natural 7.4 (2001): 275-300.
- ^ Breve historia de la IA de la Asociación Estadounidense de Inteligencia Artificial [1]
- ^ Entrada de lenguaje natural de tesis doctoral de Daniel Bobrow para un sistema de resolución de problemas informáticos .
- ^ Máquinas que piensan por Pamela McCorduck 2004 ISBN 1-56881-205-1 página 286
- ^ Russell, Stuart J .; Norvig, Peter (2003), Inteligencia artificial: un enfoque moderno Prentice Hall, ISBN 0-13-790395-2 , http://aima.cs.berkeley.edu/ , pág. 19
- ^ Estilo del logotipo de informática: más allá de la programación por Brian Harvey 1997 ISBN 0-262-58150-7 página 278
- ^ Weizenbaum, Joseph (1976). El poder de la computadora y la razón humana: del juicio al cálculo WH Freeman and Company. ISBN 0-7167-0463-3 páginas 188-189
- ^ Roger Schank , 1969, un analizador de dependencia conceptual para el lenguaje natural Actas de la conferencia de 1969 sobre lingüística computacional, Sång-Säby, Suecia, páginas 1-3
- ↑ Woods, William A (1970). "Gramáticas de la red de transición para el análisis del lenguaje natural". Comunicaciones del ACM 13 (10): 591–606 [2]
- ^ Inteligencia artificial: conceptos críticos , volumen 1 de Ronald Chrisley, Sander Begeer 2000 ISBN 0-415-19332-X página 89
- ^ Página SHRDLU de Terry Winograd en Stanford SHRDLU
- ^ Winograd, Terry (1983), El lenguaje como proceso cognitivo , Addison-Wesley, Reading, MA.
- ^ Larry R. Harris, Investigación en la Corporación de Inteligencia Artificial. Boletín ACM SIGART, número 79, enero de 1982 [3]
- ^ Razonamiento interno basado en casos por Christopher K. Riesbeck, Roger C. Schank 1989 ISBN 0-89859-767-6 página xiii
- ^ Comprensión en profundidad: un modelo de proceso integrado para la comprensión narrativa. . Michael G. Dyer. Prensa del MIT. ISBN 0-262-04073-5
- ^ Searle, John (23 de febrero de 2011). "Watson no sabe que ganó en 'Jeopardy ' " . Wall Street Journal .
- ^ Un enfoque de la categorización jerárquica del correo electrónico por Peifeng Li et al. en Procesamiento del lenguaje natural y sistemas de información editado por Zoubida Kedad, Nadira Lammari 2007 ISBN 3-540-73350-7
- ^ InfoWorld , 13 de noviembre de 1989, página 144
- ^ InfoWorld , 19 de abril de 1984, página 71
- ^ Construcción de modelos de trabajo de comprensión completa del lenguaje natural en dominios pragmáticos limitados por James Mason 2010 [4]
- ^ Minería de la Web: descubrimiento de conocimientos a partir de datos de hipertexto por Soumen Chakrabarti 2002 ISBN 1-55860-754-4 página 289
- ^ GA Miller, R. Beckwith, CD Fellbaum, D. Gross, K. Miller. 1990. WordNet: una base de datos léxica en línea . En t. J. Lexicograph. 3, 4, págs. 235-244.
- ^ Uso de computadoras en lingüística: una guía práctica de John Lawler, Helen Aristar Dry 198 ISBN 0-415-16792-2 página 209
- ^ Semántica ingenua para la comprensión del lenguaje natural por Kathleen Dahlgren 1988 ISBN 0-89838-287-4
- ^ Análisis semántico basado en estocásticamente por Wolfgang Minker, Alex Waibel , Joseph Mariani 1999 ISBN 0-7923-8571-3
- ^ Pragmática y comprensión del lenguaje natural por Georgia M. Green 1996 ISBN 0-8058-2166-X
- ^ Wong, Yuk Wah y Raymond J. Mooney . " Aprendizaje de análisis sintáctico semántico con traducción automática estadística ". Actas de la conferencia principal sobre Tecnología del Lenguaje Humano Conferencia del Capítulo Norteamericano de la Asociación de Lingüística Computacional. Asociación de Lingüística Computacional, 2006.
- ^ Programadores de Prolog de procesamiento de lenguaje natural por M. Covington, 1994 ISBN 0-13-629478-2
- ^ Procesamiento del lenguaje natural en Prolog por Gerald Gazdar, Christopher S. Mellish 1989 ISBN 0-201-18053-7
- ^ Comprensión de la comprensión del lenguaje por Ashwin Ram, Kenneth Moorman 1999 ISBN 0-262-18192-4 página 111
- ^ Aspectos formales del contexto por Pierre Bonzon et al 2000 ISBN 0-7923-6350-7
- ^ La programación con lenguaje natural realmente va a funcionar — Blog de Wolfram
- ^ Van Valin, Jr, Robert D. "De la PNL a la NLU" (PDF) .
- ^ Ball, John. "NLU multilingüe por Pat Inc" . Pat.ai .