La generación de lenguaje natural ( NLG ) es un proceso de software que produce una salida de lenguaje natural . Si bien existe un amplio consenso en que la salida de cualquier proceso NLG es texto, existe cierto desacuerdo sobre si las entradas de un sistema NLG deben ser no lingüísticas. [1] Las aplicaciones comunes de los métodos NLG incluyen la producción de varios informes, por ejemplo, informes meteorológicos [2] e informes de pacientes; [3] pies de imagen; [4] y chatbots .
El NLG automatizado se puede comparar con el proceso que usan los humanos cuando convierten ideas en escritura o habla. Los psicolingüistas prefieren el término producción de lenguaje para este proceso, que también puede describirse en términos matemáticos o modelarse en una computadora para la investigación psicológica. Los sistemas NLG también se pueden comparar con traductores de lenguajes informáticos artificiales, como descompiladores o transpiladores , que también producen código legible por humanos generado a partir de una representación intermedia . Los lenguajes humanos tienden a ser considerablemente más complejos y permiten mucha más ambigüedad y variedad de expresión que los lenguajes de programación, lo que hace que NLG sea más desafiante.
NLG puede verse como complementario a la comprensión del lenguaje natural (NLU): mientras que en la comprensión del lenguaje natural, el sistema necesita desambiguar la oración de entrada para producir el lenguaje de representación de la máquina, en NLG el sistema necesita tomar decisiones sobre cómo poner representación en palabras. Las consideraciones prácticas en la construcción de sistemas NLU frente a NLG no son simétricas. NLU necesita lidiar con entradas de usuario ambiguas o erróneas, mientras que las ideas que el sistema quiere expresar a través de NLG generalmente se conocen con precisión. NLG necesita elegir una representación textual específica y autoconsistente entre muchas representaciones potenciales, mientras que NLU generalmente intenta producir una representación única y normalizada de la idea expresada. [5]
NLG ha existido desde que ELIZA se desarrolló a mediados de la década de 1960, pero los métodos se utilizaron comercialmente por primera vez en la década de 1990. [6] Las técnicas de NLG van desde sistemas simples basados en plantillas, como una combinación de correspondencia que genera cartas modelo , hasta sistemas que tienen una comprensión compleja de la gramática humana. NLG también se puede lograr mediante el entrenamiento de un modelo estadístico mediante el aprendizaje automático , generalmente en un gran corpus de textos escritos por humanos. [7]
Ejemplo
El Pronóstico de polen para Escocia sistema [8] es un ejemplo sencillo de un sistema de NLG simple que podría ser esencialmente una plantilla. Este sistema toma como entrada seis números, que dan los niveles de polen previstos en diferentes partes de Escocia. A partir de estos números, el sistema genera un breve resumen textual de los niveles de polen como salida.
Por ejemplo, utilizando los datos históricos del 1 de julio de 2005, el software produce:
Los niveles de polen de gramíneas para el viernes han aumentado de los niveles moderados a altos de ayer con valores de alrededor de 6 a 7 en la mayor parte del país. Sin embargo, en las zonas del norte, los niveles de polen serán moderados con valores de 4.
Por el contrario, el pronóstico real (escrito por un meteorólogo humano) a partir de estos datos fue:
Se espera que los recuentos de polen se mantengan altos en el nivel 6 en la mayor parte de Escocia, e incluso en el nivel 7 en el sureste. El único alivio se encuentra en las Islas del Norte y el extremo noreste de Escocia continental con niveles medios de recuento de polen.
La comparación de estos dos ilustra algunas de las decisiones que deben tomar los sistemas NLG; estos se analizan con más detalle a continuación.
Etapas
El proceso para generar texto puede ser tan simple como mantener una lista de texto enlatado que se copia y pega, posiblemente vinculado con algún texto adhesivo. Los resultados pueden ser satisfactorios en dominios simples como máquinas de horóscopos o generadores de cartas comerciales personalizadas. Sin embargo, un sistema NLG sofisticado debe incluir etapas de planificación y combinación de información para permitir la generación de texto que parezca natural y no se vuelva repetitivo. Las etapas típicas de la generación del lenguaje natural, según lo propuesto por Dale y Reiter, [5] son:
Determinación de contenido : decidir qué información mencionar en el texto. Por ejemplo, en el ejemplo de polen anterior, decidir si mencionar explícitamente que el nivel de polen es 7 en el sureste.
Estructuración documental : Organización global de la información a transmitir. Por ejemplo, decidir describir primero las áreas con altos niveles de polen, en lugar de las áreas con bajos niveles de polen.
Agregación : fusión de oraciones similares para mejorar la legibilidad y la naturalidad. Por ejemplo, fusionando las dos siguientes oraciones:
- Los niveles de polen de césped para el viernes han aumentado de los niveles moderados a altos de ayer y
- Los niveles de polen de gramíneas rondarán entre 6 y 7 en la mayor parte del país.
en la siguiente oración única:
- Los niveles de polen de gramíneas para el viernes han aumentado de los niveles moderados a altos de ayer con valores de alrededor de 6 a 7 en la mayor parte del país .
Elección léxica : Poner palabras a los conceptos. Por ejemplo, decidir si sedebe usar medio o moderado al describir un nivel de polen de 4.
Generación de expresiones de referencia : creación de expresiones de referencia que identifican objetos y regiones. Por ejemplo, decidir utilizar en las Islas del Norte y el extremo noreste de Escocia continental para referirse a una determinada región de Escocia. Esta tarea también incluye tomar decisiones sobre pronombres y otros tipos de anáforas .
Realización : Creación del texto real, que debe ser correcto según las reglas de sintaxis , morfología y ortografía . Por ejemplo, using será el tiempo futuro de to be .
Un enfoque alternativo a NLG es utilizar el aprendizaje automático "de un extremo a otro" para construir un sistema, sin tener etapas separadas como las anteriores. [9] En otras palabras, construimos un sistema NLG entrenando un algoritmo de aprendizaje automático (a menudo un LSTM ) en un gran conjunto de datos de entrada y los textos de salida correspondientes (escritos por humanos). El enfoque de extremo a extremo quizás haya tenido más éxito en la subtitulación de imágenes , [10] que genera automáticamente una leyenda textual para una imagen.
Aplicaciones
Los medios populares han prestado más atención a los sistemas NLG que generan bromas (ver humor computacional ), pero desde una perspectiva comercial, las aplicaciones NLG más exitosas han sido los sistemas de datos a texto que generan resúmenes textuales de bases de datos y conjuntos de datos; estos sistemas suelen realizar análisis de datos y generación de texto. La investigación ha demostrado que los resúmenes textuales pueden ser más efectivos que los gráficos y otros elementos visuales para apoyar las decisiones, [11] [12] [13] y que los textos generados por computadora pueden ser superiores (desde la perspectiva del lector) a los textos escritos por humanos. [14]
Los primeros sistemas comerciales de datos a texto produjeron pronósticos meteorológicos a partir de datos meteorológicos. El primer sistema de este tipo que se implementó fue FoG, [2] que fue utilizado por Environment Canada para generar pronósticos meteorológicos en francés e inglés a principios de la década de 1990. El éxito de FoG desencadenó otros trabajos, tanto de investigación como comerciales. Las aplicaciones recientes incluyen el pronóstico mejorado por texto de la Oficina Meteorológica del Reino Unido . [15]
Actualmente existe un interés comercial considerable en utilizar NLG para resumir datos financieros y comerciales. De hecho, Gartner ha dicho que NLG se convertirá en una característica estándar del 90% de las plataformas analíticas y de BI modernas. [16] NLG también se está utilizando comercialmente en periodismo automatizado , chatbots , generación de descripciones de productos para sitios de comercio electrónico, resúmenes de registros médicos, [17] [3] y mejorando la accesibilidad (por ejemplo, describiendo gráficos y conjuntos de datos para personas ciegas [ 18] ).
Un ejemplo de uso interactivo de NLG es el marco WYSIWYM . Significa Lo que ves es lo que quisiste decir y permite a los usuarios ver y manipular la vista renderizada continuamente (salida NLG) de un documento de lenguaje formal subyacente (entrada NLG), editando así el lenguaje formal sin aprenderlo.
Evaluación
Al igual que en otros campos científicos, los investigadores de NLG deben probar qué tan bien funcionan sus sistemas, módulos y algoritmos. A esto se le llama evaluación . Hay tres técnicas básicas para evaluar sistemas NLG:
- Evaluación basada en tareas (extrínseca) : entregue el texto generado a una persona y evalúe qué tan bien le ayuda a realizar una tarea (o logra su objetivo comunicativo). Por ejemplo, un sistema que genera resúmenes de datos médicos puede evaluarse entregándolos a los médicos y evaluando si los resúmenes ayudan a los médicos a tomar mejores decisiones. [3]
- Calificaciones humanas : entregue el texto generado a una persona y pídale que califique la calidad y utilidad del texto.
- Métricas : compare los textos generados con los escritos por personas a partir de los mismos datos de entrada, utilizando una métrica automática como BLEU , METEOR y ROUGE .
Un objetivo final es la utilidad de los sistemas NLG para ayudar a las personas, que es la primera de las técnicas anteriores. Sin embargo, las evaluaciones basadas en tareas requieren mucho tiempo, son costosas y pueden ser difíciles de realizar (especialmente si requieren sujetos con conocimientos especializados, como médicos). Por lo tanto (como en otras áreas de la PNL) las evaluaciones basadas en tareas son la excepción, no la norma.
Recientemente, los investigadores están evaluando qué tan bien las calificaciones humanas y las métricas se correlacionan con (predicen) evaluaciones basadas en tareas. El trabajo se está llevando a cabo en el contexto de los eventos de tareas compartidas de Generation Challenges [19] . Los resultados iniciales sugieren que las calificaciones humanas son mucho mejores que las métricas en este sentido. En otras palabras, las calificaciones humanas generalmente predicen la efectividad de la tarea al menos hasta cierto punto (aunque hay excepciones), mientras que las calificaciones producidas por métricas a menudo no predicen bien la efectividad de la tarea. Estos resultados son preliminares. En cualquier caso, las calificaciones humanas son la técnica de evaluación más popular en NLG; esto contrasta con la traducción automática , donde las métricas se utilizan ampliamente.
Ver también
- Autocompletar
- Periodismo automatizado
- Parafraseo automatizado
- Generadores de texto de Markov
- Teoría del texto con significado
- Arte generativo § Literatura
Referencias
- ^ Gatt A, Krahmer E (2018). "Relevamiento del estado del arte en generación de lenguaje natural: Tareas centrales, aplicaciones y evaluación". Revista de investigación en inteligencia artificial (61): 65-170.
- ^ a b Goldberg E, Driedger N, Kittredge R (1994). "Uso de procesamiento de lenguaje natural para producir pronósticos meteorológicos". Experto IEEE . 9 (2): 45–53. doi : 10.1109 / 64.294135 .
- ^ a b c Portet F, Reiter E, Gatt A, Hunter J, Sripada S, Free Y, Sykes C (2009). "Generación automática de resúmenes textuales a partir de datos de cuidados intensivos neonatales" (PDF) . Inteligencia artificial . 173 (7–8): 789–816. doi : 10.1016 / j.artint.2008.12.002 .
- ^ Farhadi A, Hejrati M, Sadeghi MA, Young P, Rashtchian C, Hockenmaier J, Forsyth D (5 de septiembre de 2010). Cada imagen cuenta una historia: Generando frases a partir de imágenes . Conferencia europea sobre visión artificial. Berlín, Heidelberg: Springer. págs. 15-29.
- ^ a b Dale, Robert; Reiter, Ehud (2000). Construyendo sistemas de generación de lenguaje natural . Cambridge, Reino Unido: Cambridge University Press. ISBN 978-0-521-02451-8.
- ^ Ehud Reiter (21 de marzo de 2021). Historia de NLG .
- ^ Perera R, Nand P (2017). "Avances recientes en la generación del lenguaje natural: un estudio y clasificación de la literatura empírica". Computación e Informática . 36 (1): 1–32. doi : 10.4149 / cai_2017_1_1 . hdl : 10292/10691 .
- ^ R Turner, S Sripada, E Reiter, I Davy (2006). Generación de descripciones espacio-temporales en pronósticos de polen. Actas de EACL06
- ^ "Desafío E2E NLG" .
- ^ "DataLabCup: título de imagen" .
- ^ Ley A, Libre Y, Hunter J, Logie R, McIntosh N, Quinn J (2005). "Una comparación de presentaciones gráficas y textuales de datos de series de tiempo para apoyar la toma de decisiones médicas en la Unidad de Cuidados Intensivos Neonatales". Revista de monitorización clínica y computación . 19 (3): 183–94. doi : 10.1007 / s10877-005-0879-3 . PMID 16244840 .
- ^ Gkatzia D, Lemon O, Reiser V (2017). "La generación de datos a texto mejora la toma de decisiones en condiciones de incertidumbre" (PDF) . Revista IEEE Computational Intelligence . 12 (3): 10–17. doi : 10.1109 / MCI.2017.2708998 .
- ^ "¿Texto o gráficos?" . 2016-12-26.
- ^ Reiter E, Sripada S, Hunter J, Yu J, Davy I (2005). "Elección de palabras en pronósticos meteorológicos generados por computadora". Inteligencia artificial . 167 (1–2): 137–69. doi : 10.1016 / j.artint.2005.06.006 .
- ↑ S Sripada, N Burnett, R Turner, J Mastin, D Evans (2014). Generación de un estudio de caso: NLG satisface la demanda de la industria meteorológica de calidad y cantidad de pronósticos meteorológicos textuales. Actas de INLG 2014
- ^ "Las redes neuronales y las plataformas de BI modernas evolucionarán los datos y el análisis" .
- ^ Harris MD (2008). "Construcción de un sistema NLG comercial a gran escala para un EMR" (PDF) . Actas de la Quinta Conferencia Internacional sobre la Generación del Lenguaje Natural . págs. 157–60.
- ^ http://www.inf.udec.cl/~leo/iGraph.html
- ^ Desafíos de generación 2009
Otras lecturas
- Dale, Robert; Reiter, Ehud (2000). Construyendo sistemas de generación de lenguaje natural . Cambridge, Reino Unido: Cambridge University Press. ISBN 978-0-521-02451-8.
- Evans, Roger; Piwek, Paul; Cahill, Lynne (2002). "¿Qué es NLG?". Nueva York, Estados Unidos. Parámetro desconocido
|conference=
ignorado ( ayuda ) papel - Gatt, Albert; Krahmer, Emiel (2018). "Estudio del estado del arte en la generación de lenguaje natural: tareas centrales, aplicaciones y evaluación" . Revista de Investigación en Inteligencia Artificial . 61 : 65-170. arXiv : 1703.09902 . doi : 10.1613 / jair.5477 .
- Reiter, Aod (16 de enero de 2018). "¿Cómo puedo obtener información sobre NLG?" .
enlaces externos
- Grupo de Interés Especial de Generación de ACL ( SIGGEN )
- SIGGEN parte de ACL Anthology (contiene artículos de investigación de NLG)
- Portal ACL NLG (contiene una lista de recursos NLG)
- La lista 'casi completa' de Bateman y Zock de sistemas NLG ahora se mantiene como una Wiki con una variedad de visualizaciones y tablas de descripción general disponibles bajo demanda
- Blog de Ehud Reiter sobre generación de lenguaje natural
- Explicación multimedia interactiva para el mantenimiento y reparación de equipos : artículo que describe el banco de pruebas de explicación multimedia coordinada (COMET)