SemEval ( Sem antic Eval nente) es una serie de evaluaciones de análisis semántico computacionales sistemas; evolucionó de la serie de evaluación del sentido de las palabras de Senseval . Las evaluaciones están destinadas a explorar la naturaleza del significado en el lenguaje. Si bien el significado es intuitivo para los humanos, transferir esas intuiciones al análisis computacional ha resultado difícil de alcanzar.
| Académica | |
|---|---|
| Disciplinas: | Procesamiento del lenguaje natural Lingüística computacional Semántica |
| Organización paraguas : | ACL-SIGLEX hhdgdhc |
| Resumen del taller | |
| Fundado: | 1998 ( Senseval ) |
| Último: | SemEval-2015 NAACL @ Denver, EE. UU. |
| Próximamente: | SemEval-2018 |
| Historia | |
| Senseval-1 | 1998 en Sussex |
| Senseval-2 | 2001 en Toulouse |
| Senseval-3 | 2004 @ Barcelona |
| SemEval-2007 | 2007 en Praga |
| SemEval-2010 | 2010 @ Uppsala |
| SemEval-2012 | 2012 en Montreal |
| SemEval-2013 | 2013 @ Atlanta |
| SemEval-2014 | 2014 @ Dublín |
| SemEval-2015 | 2015 @ Denver |
| SemEval-2016 | 2016 @ San Diego |
Esta serie de evaluaciones está proporcionando un mecanismo para caracterizar en términos más precisos exactamente lo que es necesario para computar en significado. Como tal, las evaluaciones proporcionan un mecanismo emergente para identificar los problemas y las soluciones para los cálculos con significado. Estos ejercicios han evolucionado para articular más de las dimensiones que están involucradas en nuestro uso del lenguaje. Comenzaron con intentos aparentemente simples de identificar los sentidos de las palabras de manera computacional. Han evolucionado para investigar las interrelaciones entre los elementos de una oración (p. Ej., Etiquetado de roles semánticos ), relaciones entre oraciones (p. Ej., Correferencia ) y la naturaleza de lo que estamos diciendo ( relaciones semánticas y análisis de sentimientos ).
El propósito de los ejercicios SemEval y Senseval es evaluar sistemas de análisis semántico. " Análisis semántico " se refiere a un análisis formal de significado, y "computacional" se refiere a enfoques que en principio apoyan la implementación efectiva. [1]
Las tres primeras evaluaciones, Senseval-1 a Senseval-3, se centraron en la desambiguación del sentido de las palabras (WSD), cada vez creciendo en el número de idiomas ofrecidos en las tareas y en el número de equipos participantes. A partir del cuarto taller, SemEval-2007 (SemEval-1), la naturaleza de las tareas evolucionó para incluir tareas de análisis semántico fuera de la desambiguación del sentido de las palabras. [2]
Impulsada por la concepción de la conferencia * SEM , la comunidad SemEval había decidido realizar los talleres de evaluación anualmente en asociación con la conferencia * SEM. También se tomó la decisión de que no todas las tareas de evaluación se ejecutarán todos los años, por ejemplo, ninguna de las tareas de WSD se incluyó en el taller SemEval-2012.
Historia
Evaluación temprana de algoritmos para la desambiguación del sentido de las palabras
Desde los primeros días, evaluar la calidad de los algoritmos de desambiguación del sentido de las palabras había sido principalmente una cuestión de evaluación intrínseca , y “casi no se habían hecho intentos para evaluar los componentes WSD integrados”. [3] Sólo muy recientemente (2006) habían comenzado las evaluaciones extrínsecas a proporcionar alguna evidencia del valor de WSD en aplicaciones de usuario final. [4] Hasta 1990 más o menos, las discusiones sobre la tarea de desambiguación de sentidos se centraron principalmente en ejemplos ilustrativos más que en una evaluación integral. Los primeros años de la década de 1990 vieron el comienzo de evaluaciones intrínsecas más sistemáticas y rigurosas, incluida una experimentación más formal con pequeños conjuntos de palabras ambiguas. [5]
Senseval a SemEval
En abril de 1997, Martha Palmer y Marc Light organizaron un taller titulado Etiquetado con semántica léxica: ¿Por qué, qué y cómo? en conjunto con la Conferencia sobre Procesamiento del Lenguaje Natural Aplicado. [6] En ese momento, se reconoció claramente que los corpus anotados manualmente habían revolucionado otras áreas de la PNL, como el etiquetado y el análisis de partes del discurso , y que los enfoques basados en corpus tenían el potencial de revolucionar el análisis semántico automático también. . [7] Kilgarriff recordó que había “un alto grado de consenso en que el campo necesitaba evaluación” y varias propuestas prácticas de Resnik y Yarowsky iniciaron una discusión que condujo a la creación de los ejercicios de evaluación de Senseval. [8] [9] [10]
Ciclo de 3, 2 o 1 año (s) de SemEval
Después de SemEval-2010, muchos participantes sienten que el ciclo de 3 años es una espera larga. Muchas otras tareas compartidas, como la Conferencia sobre el aprendizaje del lenguaje natural (CoNLL) y el Reconocimiento de vínculos textuales (RTE), se ejecutan anualmente. Por esta razón, los coordinadores de SemEval dieron la oportunidad a los organizadores de tareas de elegir entre un ciclo de 2 años o de 3 años. [11] La comunidad SemEval favoreció el ciclo de 3 años.
Aunque los votos dentro de la comunidad de SemEval favorecieron un ciclo de 3 años, los organizadores y coordinadores se habían decidido a dividir la tarea de SemEval en 2 talleres de evaluación. Esto fue provocado por la introducción de la nueva conferencia * SEM . Los organizadores de SemEval pensaron que sería apropiado asociar nuestro evento con la conferencia * SEM y colocar el taller SemEval con la conferencia * SEM. Los organizadores obtuvieron respuestas muy positivas (de los coordinadores de tareas / organizadores y participantes) sobre la asociación con el SEM anual *, y 8 tareas estaban dispuestas a cambiar a 2012. Así nació SemEval-2012 y SemEval-2013. El plan actual es cambiar a un programa SemEval anual para asociarlo con la conferencia * SEM, pero no todas las tareas deben ejecutarse todos los años. [12]
Lista de talleres de Senseval y SemEval
- Senseval-1 se llevó a cabo en el verano de 1998 para inglés, francés e italiano, y culminó con un taller celebrado en el castillo de Herstmonceux, Sussex, Inglaterra, del 2 al 4 de septiembre.
- Senseval-2 tuvo lugar en el verano de 2001, y fue seguido por un taller celebrado en julio de 2001 en Toulouse, junto con ACL 2001. Senseval-2 incluyó tareas para euskera, chino, checo, danés, holandés, inglés, estonio, Italiano, japonés, coreano, español y sueco.
- Senseval-3 se llevó a cabo en marzo-abril de 2004, seguido de un taller celebrado en julio de 2004 en Barcelona, junto con ACL 2004. Senseval-3 incluyó 14 tareas diferentes para la desambiguación del sentido básico de las palabras, así como la identificación de roles semánticos, multilingüe anotaciones, formas lógicas, adquisición de subcategorizaciones.
- SemEval-2007 (Senseval-4) tuvo lugar en 2007, seguido de un taller realizado junto con ACL en Praga. SemEval-2007 incluyó 18 tareas diferentes dirigidas a la evaluación de sistemas para el análisis semántico de texto. Se dedica un número especial de Evaluación y recursos lingüísticos al resultado. [13]
- SemEval-2010 tuvo lugar en 2010, seguido de un taller realizado junto con ACL en Uppsala. SemEval-2010 incluyó 18 tareas diferentes dirigidas a la evaluación de sistemas de análisis semántico.
- SemEval-2012 tuvo lugar en 2012; se asoció con el nuevo * SEM, Primera Conferencia Conjunta sobre Semántica Léxica y Computacional, y se ubicó junto con NAACL, Montreal, Canadá. SemEval-2012 incluyó 8 tareas diferentes dirigidas a evaluar sistemas semánticos computacionales. Sin embargo, no hubo ninguna tarea WSD involucrada en SemEval-2012, las tareas relacionadas con WSD se programaron en el próximo SemEval-2013.
- SemEval-2013 se asoció con NAACL 2013, Asociación Norteamericana de Lingüística Computacional, Georgia, EE. UU. Y se llevó a cabo en 2013. Incluyó 13 tareas diferentes dirigidas a evaluar sistemas semánticos computacionales.
- SemEval-2014 tuvo lugar en 2014. Se ubicó junto con COLING 2014, 25ª Conferencia Internacional sobre Lingüística Computacional y * SEM 2014, Segunda Conferencia Conjunta sobre Semántica Léxica y Computacional, Dublín, Irlanda. Se realizaron 10 tareas diferentes en SemEval-2014 evaluando varios sistemas semánticos computacionales.
- SemEval-2015 tuvo lugar en 2015. Se ubicó junto con NAACL-HLT 2015, Conferencia 2015 del Capítulo Norteamericano de la Asociación de Lingüística Computacional - Tecnologías del Lenguaje Humano y * SEM 2015, Tercera Conferencia Conjunta sobre Semántica Léxica y Computacional, Denver, Estados Unidos. Hubo 17 tareas diferentes en SemEval-2015 evaluando varios sistemas semánticos computacionales.
Marco del taller SemEval
El marco de los talleres de evaluación SemEval / Senseval emula las Conferencias de Comprensión de Mensajes (MUC) y otros talleres de evaluación organizados por ARPA (Agencia de Proyectos de Investigación Avanzada, rebautizada como Agencia de Proyectos de Investigación Avanzada de Defensa (DARPA) ).
Etapas de los talleres de evaluación SemEval / Senseval [14]
- En primer lugar, se invitó a todos los posibles participantes a expresar su interés y participar en el diseño del ejercicio.
- Se elaboró un cronograma para un taller final.
- Se acordó un plan para la selección de materiales de evaluación.
- Se adquirieron "estándares de oro" para las tareas individuales; a menudo, los anotadores humanos se consideraban un estándar de oro para medir la precisión y recordar puntuaciones de sistemas informáticos. Estos 'estándares de oro' son los objetivos de los sistemas computacionales. En las tareas de WSD, a los anotadores humanos se les asignó la tarea de generar un conjunto de respuestas WSD correctas (es decir, el sentido correcto de una palabra dada en un contexto dado)
- Los materiales del estándar de oro, sin respuestas, se entregaron a los participantes, quienes luego tuvieron poco tiempo para ejecutar sus programas y devolver sus conjuntos de respuestas a los organizadores.
- Luego, los organizadores puntuaron las respuestas y las puntuaciones se anunciaron y debatieron en un taller.
Tareas de evaluación semántica
Senseval-1 y Senseval-2 se centraron en la evaluación de sistemas WSD en los principales idiomas que estaban disponibles en corpus y diccionario computarizado. Senseval-3 miró más allá de los lexemas y comenzó a evaluar sistemas que buscaban áreas más amplias de la semántica, como los roles semánticos (técnicamente conocidos como roles Theta en la semántica formal), la transformación de formas lógicas (comúnmente la semántica de frases, cláusulas u oraciones se representaban en formas lógicas de primer orden ) y Senseval-3 exploró el rendimiento del análisis semántico en la traducción automática .
A medida que los tipos de diferentes sistemas semánticos computacionales crecieron más allá de la cobertura de WSD, Senseval evolucionó a SemEval, donde se evaluaron más aspectos de los sistemas semánticos computacionales.
Descripción general de los problemas del análisis semántico
Los ejercicios SemEval proporcionan un mecanismo para examinar cuestiones en el análisis semántico de textos. Los temas de interés no alcanzan el rigor lógico que se encuentra en la semántica computacional formal, intentando identificar y caracterizar los tipos de cuestiones relevantes para la comprensión humana del lenguaje. El objetivo principal es replicar el procesamiento humano por medio de sistemas informáticos. Las tareas (que se muestran a continuación) son desarrolladas por individuos y grupos para hacer frente a problemas identificables, a medida que adquieren alguna forma concreta.
La primera área importante en el análisis semántico es la identificación del significado pretendido en el nivel de la palabra (considerado para incluir expresiones idiomáticas). Esta es la desambiguación del sentido de las palabras (un concepto que se está alejando de la noción de que las palabras tienen sentidos discretos, sino que se caracterizan por la forma en que se usan, es decir, sus contextos). Las tareas en esta área incluyen muestra léxica y desambiguación de todas las palabras, desambiguación multilingüe y entre idiomas y sustitución léxica. Dadas las dificultades para identificar los sentidos de las palabras, otras tareas relevantes para este tema incluyen la inducción del sentido de las palabras, la adquisición de subcategorizaciones y la evaluación de recursos léxicos.
La segunda área importante en el análisis semántico es la comprensión de cómo encajan las diferentes frases y elementos textuales. Las tareas en esta área incluyen etiquetado de roles semánticos, análisis de relaciones semánticas y resolución de correferencia. Otras tareas en esta área se centran en cuestiones más especializadas del análisis semántico, como el procesamiento de información temporal, la resolución de metonimia y el análisis de sentimientos. Las tareas en esta área tienen muchas aplicaciones potenciales, como extracción de información, respuesta a preguntas, resumen de documentos, traducción automática, construcción de tesauros y redes semánticas, modelado de lenguaje, paráfrasis y reconocimiento de implicaciones textuales. En cada una de estas posibles aplicaciones, la contribución de los tipos de análisis semántico constituye el tema de investigación más destacado.
Por ejemplo, en la tarea de inducción y desambiguación del sentido de la palabra , hay tres fases separadas:
- En la fase de formación , se pidió a los participantes de la tarea de evaluación que utilizaran un conjunto de datos de formación para inducir los inventarios de sentidos de un conjunto de palabras polisémicas. El conjunto de datos de entrenamiento que consta de un conjunto de sustantivos / verbos polisémicos y las instancias de oraciones en las que ocurrieron. No se permitieron otros recursos además de los componentes morfológicos y sintácticos del procesamiento del lenguaje natural, como analizadores morfológicos , etiquetadores de parte del habla y analizadores sintácticos .
- En la fase de prueba , a los participantes se les proporcionó un conjunto de pruebas para la subtarea de eliminación de ambigüedades utilizando el inventario de sentidos inducidos de la fase de entrenamiento.
- En la fase de evaluación , las respuestas de la fase de prueba se evaluaron en un marco supervisado y no supervisado .
La evaluación no supervisada para WSI consideró dos tipos de evaluación V Measure (Rosenberg y Hirschberg, 2007) y un F-Score emparejado (Artiles et al., 2009). Esta evaluación sigue a la evaluación supervisada de la tarea WSI SemEval-2007 (Agirre y Soroa, 2007)
Descripción general de las tareas de Senseval y SemEval
Las tablas a continuación reflejan el crecimiento del taller de Senseval a SemEval y brindan una descripción general de qué área de la semántica computacional se evaluó a lo largo de los talleres de Senseval / SemEval.
| Taller | No. de Tareas | Áreas de estudio | Idiomas de los datos evaluados |
|---|---|---|---|
| Senseval-1 | 3 | Desambiguación de Word Sense (WSD): tareas de WSD de muestra léxica | Inglés, francés, italiano |
| Senseval-2 | 12 | Desambiguación de sentido de palabras (WSD): muestra léxica, todas las palabras, tareas de traducción de WSD | Checo, holandés, inglés, estonio, vasco, chino, danés, inglés, italiano, japonés, coreano, español, sueco |
| Senseval-3 | 16 (incl.2 canceladas) | Transformación de formas lógicas, evaluación de traducción automática (MT), etiquetado de roles semánticos, WSD | Euskera, Catalán, Chino, Inglés, Italiano, Rumano, Español |
| SemEval2007 | 19 (incl.1 cancelado) | Interlingüístico, Extracción de marcos, Extracción de información, Sustitución léxica, Muestra léxica, Metonimia, Anotación semántica, Relaciones semánticas, Etiquetado de roles semánticos, Análisis de sentimientos, Expresión de tiempo, WSD | Árabe, catalán, chino, inglés, español, turco |
| SemEval2010 | 18 (incl.1 cancelado) | Correferencia, Interlingüístico, Elipsis, Extracción de información, Sustitución léxica, Metonimia, Compuestos sustantivos, Análisis, Relaciones semánticas, Etiquetado de roles semánticos, Análisis de sentimientos, Vinculación textual, Expresiones de tiempo, WSD | Catalán, chino, holandés, inglés, francés, alemán, italiano, japonés, español |
| SemEval2012 | 8 | Razonamiento de sentido común, simplificación léxica, similitud relacional, etiquetado de roles espaciales, análisis de dependencia semántica, similitud semántica y textual | Ingles chino |
| SemEval2013 | 14 | Anotación temporal, análisis de sentimientos, etiquetado de roles espaciales, compuestos de sustantivos, semántica de frase, similitud textual, análisis de respuesta, vinculación textual en varios idiomas, textos biomédicos, WSD cruzado y multilingüe, inducción de sentido de palabras y muestra léxica | Catalán, francés, alemán, inglés, italiano, español |
| SemEval2014 | 10 | Semántica de distribución composicional, inducción gramatical para sistemas de diálogo hablado, similitud semántica entre niveles, análisis de sentimientos, asistente de escritura L2, análisis semántico supervisado, análisis de texto clínico, análisis de dependencia semántica, análisis de sentimientos en Twitter, similitud textual semántica multilingüe | Inglés, español, francés, alemán, holandés, |
| SemEval2015 | 18 (incl.1 cancelado) | Similitud de texto y respuesta a preguntas, tiempo y espacio, sentimiento, desambiguación e inducción del sentido de las palabras, aprendizaje de relaciones semánticas | Inglés, español, árabe, italiano |
| SemEval2016 | 14 | Similitud textual y respuesta a preguntas, análisis de sentimientos, análisis semántico, análisis semántico, taxonomía semántica | |
| SemEval2017 | 12 [15] | Comparación semántica de palabras y textos, Detección de sentimientos, humor y verdad y Análisis de estructuras semánticas | |
| SemEval2018 | 12 [16] | Lenguaje afectivo y creativo en tweets, correferencia, extracción de información, semántica léxica y comprensión y razonamiento de lectura |
La tarea de WSD multilingüe se introdujo para el taller SemEval-2013. [17] La tarea tiene como objetivo evaluar los sistemas Word Sense Disambiguation en un escenario multilingüe utilizando BabelNet como su inventario de sentidos. A diferencia de una tarea similar como el WSD interlingüístico o la tarea de sustitución léxica multilingüe , donde no se especifica un inventario de sentido fijo, el WSD multilingüe utiliza BabelNet como su inventario de sentido. Antes del desarrollo de BabelNet, se llevó a cabo una tarea de evaluación de WSD de muestra léxica bilingüe en SemEval-2007 en bitexts chino-inglés. [18]
La tarea Cross-lingual WSD se introdujo en el taller de evaluación SemEval-2007 y se volvió a proponer en el taller SemEval-2013. [19] Para facilitar la integración de los sistemas WSD en otras aplicaciones de procesamiento del lenguaje natural (NLP), como la traducción automática y la recuperación de información multilingüe , se introdujo la tarea de evaluación de WSD en varios idiomas, un enfoque de WSD independiente del lenguaje y basado en el conocimiento. . La tarea es una tarea de desambiguación de sentido de palabras no supervisada para sustantivos en inglés mediante corpus paralelos. Sigue la variante de muestra léxica de la tarea Classic WSD, restringida a solo 20 sustantivos polisémicos.
Vale la pena señalar que el SemEval-2014 tiene solo dos tareas que eran multilingües / interlingüísticas, es decir (i) la tarea del Asistente de escritura L2 , que es una tarea de WSD interlingüística que incluye inglés, español, alemán, francés y holandés y (ii) la tarea Similitud textual semántica multilingüe que evalúa sistemas en textos en inglés y español.
Áreas de evaluación
Las principales tareas de la evaluación semántica incluyen las siguientes áreas de procesamiento del lenguaje natural . Se espera que esta lista crezca a medida que avanza el campo. [20]
La siguiente tabla muestra las áreas de estudios que estuvieron involucradas en Senseval-1 a SemEval-2014 (S se refiere a Senseval y SE se refiere a SemEval, por ejemplo, S1 se refiere a Senseval-1 y SE07 se refiere a SemEval2007):
| Áreas de estudio | S1 | S2 | S3 | SE07 | SE10 | SE12 | SE13 | SE14 | SE15 | SE16 | SE17 |
|---|---|---|---|---|---|---|---|---|---|---|---|
| Bioinfomática / Análisis de textos clínicos |  | | | ||||||||
| Razonamiento con sentido común ( COPA ) | | ||||||||||
| Resolución de correferencia | | ||||||||||
| Compuestos sustantivos ( extracción de información ) | | | |||||||||
| Elipsis | | ||||||||||
| Inducción gramatical | | ||||||||||
| Extracción de frases clave ( extracción de información ) | | ||||||||||
| Simplificación léxica | | ||||||||||
| Sustitución léxica (multilingüe o interlingüística) | | | | ||||||||
| Complejidad léxica | | ||||||||||
| Metonimia ( extracción de información ) | | | |||||||||
| Paráfrasis | | | | | |||||||
| Respuesta a preguntas | | | |||||||||
| Similitud relacional | | | |||||||||
| Rumor y veracidad | | ||||||||||
| Análisis semántico | | | | | | ||||||
| Identificación de relaciones semánticas | | | |||||||||
| Etiquetado de roles semánticos | | | | | |||||||
| Similitud semántica | | | | | | ||||||
| Similitud semántica (interlingüístico) | | ||||||||||
| Similitud semántica (multilingüe) | | | | ||||||||
| Análisis de los sentimientos | | | | | | | |||||
| Etiquetado de roles espaciales | | | |||||||||
| Inducción / enriquecimiento taxonómico | | | |||||||||
| Vinculación textual | | | | | |||||||
| Vinculación textual (en varios idiomas) | | ||||||||||
| Anotación temporal | | | | | | | |||||
| Análisis de Twitter | | | | | |||||||
| Desambiguación del sentido de las palabras ( muestra léxica ) | | | | | | ||||||
| Desambiguación del sentido de las palabras ( todas las palabras ) | | | | | | | |||||
| Desambiguación del sentido de la palabra (multilingüe) | | | |||||||||
| Desambiguación del sentido de las palabras (en varios idiomas) | | | |||||||||
| Inducción del sentido de la palabra | | | |
Tipo de anotaciones semánticas
Las tareas de SemEval han creado muchos tipos de anotaciones semánticas, cada tipo con varios esquemas. En SemEval-2015, los organizadores han decidido agrupar las tareas en varias pistas. Estas pistas son por el tipo de anotaciones semánticas que la tarea espera lograr. [21] Aquí se enumera el tipo de anotaciones semánticas involucradas en los talleres SemEval:
- Aprendiendo relaciones semánticas
- Pregunta y respuesta
- Análisis semántico
- Taxonomía semántica
- Análisis de los sentimientos
- Similitud de texto
- Tiempo y espacio
- Inducción y desambiguación del sentido de la palabra
Una tarea y su asignación de pistas es flexible; una tarea puede desarrollarse en su propia pista, por ejemplo, la tarea de evaluación de taxonomía en SemEval-2015 estaba bajo la pista de aprendizaje de relaciones semánticas y en SemEval-2016, hay una pista dedicada para taxonomía semántica con una nueva tarea de enriquecimiento de taxonomía semántica . [22] [23]
Ver también
- Lista de premios de informática
- Semántica computacional
- Procesamiento natural del lenguaje
- Sentido de la palabra
- Desambiguación del sentido de las palabras
- Diferentes variantes de evaluaciones WSD
- Análisis semántico (computacional)
Referencias
- ^ Blackburn, P. y Bos, J. (2005), Representación e inferencia para el lenguaje natural: un primer curso en semántica computacional , Publicaciones de CSLI. ISBN 1-57586-496-7 .
- ^ Navigli, R (2009). "Desambiguación del sentido de la palabra". Encuestas de computación ACM . 41 (2): 1–69. doi : 10.1145 / 1459352.1459355 . S2CID 461624 .
- ^ Palmer, M., Ng, HT y Hoa, TD (2006), Evaluación de sistemas WSD , en Eneko Agirre y Phil Edmonds (eds.), Desambiguación del sentido de la palabra: algoritmos y aplicaciones , tecnología de texto, habla y lenguaje, vol. . 33. Amsterdam: Springer, 75-106.
- ↑ Resnik, P. (2006), WSD in NLP applications , en Eneko Agirre & Phil Edmonds (eds.), Word Sense Disambiguation: Algorithms and Applications. Dordrecht: Springer, 299–338.
- ^ Yarowsky, D. (1992), desambiguación del sentido de la palabra utilizando modelos estadísticos de categorías de Roget entrenados en grandes corpora . Actas de la 14ª Conferencia sobre Lingüística Computacional, 454–60. doi : 10.3115 / 992133.992140
- ^ Palmer, M. y Light, M. (1999), Etiquetado con semántica léxica: ¿Por qué, qué y cómo? Taller de ACL SIGLEX sobre etiquetado de texto con semántica léxica: ¿qué, por qué y cómo? Ingeniería del lenguaje natural 5 (2): i – iv.
- ^ Ng, HT (1997), Tomando en serio la desambiguación del sentido de las palabras . Actas del taller de ACL SIGLEX sobre etiquetado de texto con semántica léxica: ¿por qué, qué y cómo? 1-7.
- ^ Philip Resnik y Jimmy Lin (2010). Evaluación de sistemas de PNL . En Alexander Clark, Chris Fox y Shalom Lappin, editores. El manual de lingüística computacional y procesamiento del lenguaje natural. Wiley-Blackwellis. 11: 271
- ^ Adam Kilgarriff y Martha Palmer (ed. 2000). Número especial de Computadoras y Humanidades, SENSEVAL98: Evaluación de sistemas de desambiguación de sentido de palabras . Kluwer, 34: 1-2.
- ^ Scott Cotton, Phil Edmonds, Adam Kilgarriff y Martha Palmer (ed. 2001). SENSEVAL-2: Segundo Taller Internacional sobre Evaluación de Sistemas de Desambiguación de Sentido de Palabras . Taller SIGLEX, ACL03, Toulouse, Francia.
- ^ SIGLEX: Tablero de mensajes (2010) Recuperado el 15 de agosto de 2012, de http://www.clres.com/siglex/messdisp.php?id=111
- ^ Publicación del grupo de Google SemEval 3. Obtenido el 15 de agosto de 2012 de https://groups.google.com/forum/?fromgroups#!topic/semeval3/8YXMvVlH-CM%5B1-25%5D
- ^ Recursos lingüísticos y evaluación, volumen 43, número 2 [ enlace muerto ]
- ^ Kilgarriff, A. (1998). SENSEVAL: Ejercicio de evaluación de programas de desambiguación de sentido de palabras . En Proc. LREC, Granada, mayo de 1998. Pp 581-588
- ^ "Tareas " . alt.qcri.org . Consultado el 4 de mayo de 2018 .
- ^ "Tareas " . alt.qcri.org . Consultado el 4 de mayo de 2018 .
- ^ Navigli, R., Jurgens, D. y Vannella, D. (junio de 2013). Tarea 12 de Semeval-2013: Desambiguación del sentido de las palabras multilingües. En Actas del 7mo Taller Internacional sobre Evaluación Semántica (SemEval 2013), en conjunto con la Segunda Conferencia Conjunta sobre Semántica Léxica y Computacional (* SEM 2013) (pp. 222-231).
- ^ Peng Jin, Yunfang Wu y Shiwen Yu. Tarea 05 de SemEval-2007: muestra léxica multilingüe chino-inglés . Actas del 4º Taller Internacional sobre Evaluaciones Semánticas, págs. 19-23, 23-24 de junio de 2007, Praga, República Checa.
- ^ Lefever, E. y Hoste, V. (junio de 2013). Tarea 10 de Semeval-2013: Desambiguación del sentido de las palabras en varios idiomas. En Segunda conferencia conjunta sobre semántica léxica y computacional (Vol. 2, pp. 158-166).
- ^ Portal SemEval (sin fecha). En ACLwiki. Consultado el 12 de agosto de 2010 en http://aclweb.org/aclwiki/index.php?title=SemEval_Portal
- ^ Sitio web SemEval-2015 . Consultado el 14 de noviembre de 2014 en http://alt.qcri.org/semeval2015/index.php?id=tasks
- ^ Georgeta Bordea, Paul Buitelaar, Stefano Faralli y Roberto Navigli. 2015. Tarea 17 de Semeval-2015: Evaluación de extracción de taxonomía (TExEval) . En Actas del 9º Taller Internacional sobre Evaluación Semántica. Denver, Estados Unidos.
- ^ Sitio web SemEval-2016 . Consultado el 4 de junio de 2015 en http://alt.qcri.org/semeval2016/
enlaces externos
- Grupo de interés especial sobre el léxico (SIGLEX) de la Asociación de Lingüística Computacional (ACL)
- Semeval-2010 - Taller de Evaluación Semántica (avalado por SIGLEX)
- Senseval - organización internacional dedicada a la evaluación de sistemas de desambiguación Word Sense (avalado por SIGLEX)
- Portal SemEval en la Wiki de la Asociación de Lingüística Computacional
- Tareas de Senseval / SemEval:
- Senseval-1 : el primer ejercicio de evaluación de los sistemas de desambiguación del sentido de las palabras; La tarea de muestra léxica se evaluó en inglés, francés e italiano.
- Senseval-2 : evaluó los sistemas de desambiguación del sentido de las palabras en tres tipos de tareas (la de todas las palabras, la muestra léxica y la tarea de traducción)
- Senseval-3 : tareas incluidas para la desambiguación del sentido de las palabras, así como la identificación de roles semánticos, anotaciones multilingües, formas lógicas, adquisición de subcategorizaciones.
- SemEval-2007 - incluyó tareas más elaboradas que Senseval ya que atraviesa las diferentes áreas de estudios en Procesamiento del Lenguaje Natural
- SemEval-2010 : tareas agregadas que provenían de nuevas áreas de estudios en semántica computacional, a saber, correferencia, elipsis, extracción de frases clave, compuestos de sustantivos y vinculación textual.
- SemEval-2012 : ubicado junto con la primera conferencia * SEM y la Tarea de similitud semántica se promovió como la Tarea compartida * Sem
- SemEval-2013 : SemEval pasó del ciclo de 2 a 3 años a un taller anual
- SemEval-2014 : la primera vez que SemEval se ubica en un evento sin ACL en COLING
- SemEval-2015 : el primer SemEval con tareas categorizadas en varias pistas
- SemEval-2016 : el segundo SemEval sin una tarea WSD (el primero fue en SemEval-2012)
- * SEM - conferencia para artículos relacionados con SemEval que no sean sistemas de tareas.
- Conferencias de comprensión de mensajes (MUC)
- BabelNet
- Open Multilingual WordNet : compilación de WordNets con licencias abiertas
