Las conferencias de comprensión de mensajes ( MUC ) fueron iniciadas y financiadas por DARPA (Agencia de Proyectos de Investigación Avanzada de Defensa) para fomentar el desarrollo de nuevos y mejores métodos de extracción de información . El carácter de esta competencia —muchos equipos de investigación concurrentes compitiendo entre sí— requirió el desarrollo de estándares para la evaluación, por ejemplo, la adopción de métricas como precisión y recuerdo .
Temas y ejercicios
Solo para la primera conferencia (MUC-1) el participante pudo elegir el formato de salida para la información extraída. A partir de la segunda conferencia se prescribió el formato de salida, mediante el cual se evaluarían los sistemas de los participantes. Para cada tema se proporcionaron campos que debían ser llenados con información del texto. Los campos típicos eran, por ejemplo, la causa, el agente, la hora y el lugar de un evento, las consecuencias, etc. El número de campos aumentó de conferencia en conferencia.
En la sexta conferencia (MUC-6) se agregó la tarea de reconocimiento de entidades nombradas y correferencia . Para la entidad nombrada, se suponía que todas las frases en el texto estaban marcadas como persona, ubicación, organización, tiempo o cantidad.
Los temas y fuentes de texto, que fueron procesados, muestran un movimiento continuo de temas militares a civiles, lo que reflejó el cambio en el interés empresarial por la extracción de información que se estaba produciendo en ese momento.
Conferencia | Año | Fuente de texto | Tema (dominio) |
---|---|---|---|
MUC-1 | 1987 | Mil. informes | Operaciones de flota |
MUC-2 | 1989 | Mil. informes | Operaciones de flota |
MUC-3 | 1991 | Reportes de noticias | Actividades terroristas en América Latina |
MUC-4 | 1992 | Reportes de noticias | Actividades terroristas en América Latina |
MUC-5 | 1993 | Reportes de noticias | Joint Ventures corporativos, Producción microelectrónica |
MUC-6 | 1995 | Reportes de noticias | Negociación de Conflictos Laborales y Sucesión de Gestión Corporativa |
MUC-7 | 1997 | Reportes de noticias | Choques de aviones y lanzamientos de cohetes / misiles |
Literatura
- Ralph Grishman, Beth Sundheim: Conferencia sobre comprensión de mensajes - 6: Una breve historia. En: Actas de la 16ª Conferencia Internacional de Lingüística Computacional (COLING), I, Copenhague, 1996, 466–471.