La Conferencia y Laboratorios del Foro de Evaluación (anteriormente Foro de Evaluación entre Idiomas ), o CLEF , es una organización que promueve la investigación en el acceso a la información multilingüe (actualmente se centra en los idiomas europeos ). Sus funciones específicas son mantener un marco subyacente para probar sistemas de recuperación de información y crear repositorios de datos para que los investigadores los utilicen en el desarrollo de estándares comparables . [1] La organización celebra una conferencia cada septiembre en Europa desde un primer taller constitutivo en 2000. De 1997 a 1999, TREC, la conferencia de evaluación similar que se organiza anualmente en los EE. UU., incluyó una pista para la evaluación de la RI entre idiomas para idiomas europeos. Esta pista fue coordinada conjuntamente por NIST y por un grupo de voluntarios europeos que creció a lo largo de los años. A finales de 1999, algunos de los participantes tomaron la decisión de trasladar la actividad a Europa y ponerla en marcha de forma independiente. El objetivo era ampliar la cobertura a un mayor número de idiomas y centrarse en una gama más amplia de cuestiones, incluida la evaluación del sistema monolingüe para idiomas distintos del inglés. A lo largo de los años, CLEF ha recibido el apoyo de varios proyectos e iniciativas financiados por la UE. [2]
Conferencia y laboratorios del Foro de Evaluación | |
---|---|
Abreviatura | CLAVE |
Disciplina | recuperación de información |
Detalles de la publicación | |
Editor | Actas del taller de Springer y CEUR |
Historia | 2001 | ; anteriormente conocido como Foro de evaluación entre idiomas
Frecuencia | anual |
Sitio web | www |
Estructura de CLEF
Antes de 2010, [3] CLEF se organizó como un taller ubicado junto con la Conferencia Europea sobre Bibliotecas Digitales , que consistía en una serie de laboratorios o pistas de evaluación, de manera similar a TREC. En 2010, CLEF pasó a convertirse en una conferencia organizada de manera autosuficiente con laboratorios de evaluación, talleres de laboratorio y una pista principal de conferencias. En 2012, INEX, un taller sobre recuperación y acceso a texto estructurado, previamente organizado anualmente en Schloß Dagstuhl , se fusionó con CLEF para convertirse en uno de sus laboratorios de evaluación.
Antes de cada conferencia de CLEF, los participantes en los laboratorios de evaluación reciben un conjunto de tareas de desafío. Las tareas están diseñadas para probar varios aspectos de los sistemas de recuperación de información y fomentar su desarrollo. Grupos de investigadores proponen y organizan campañas para satisfacer esas tareas y los resultados se utilizan como puntos de referencia para el estado del arte en las áreas específicas. [4] [5]
Al principio, CLEF se centró principalmente en tareas de recuperación de información bastante típicas, pero se ha trasladado a tareas más específicas. Por ejemplo, la tarea de búsqueda interactiva de imágenes de 2005 trabajó con la ilustración de textos de no ficción utilizando imágenes de Flickr [6] y la tarea de recuperación médica de 2010 se centró en la recuperación de imágenes de tomografía computarizada, resonancia magnética e imágenes radiográficas. [7] En 2017, CLEF acomodó una serie de tareas, por ejemplo, la identificación de especies biológicas a partir de fotografías o videoclips, el análisis estilístico de la autoría y el acceso a la información relacionada con la salud.
Lista de talleres y conferencias CLEF
Año | Localización | Nota | Actas | Editores | |
---|---|---|---|---|---|
2000 | Lisboa | Taller constitutivo | Recuperación y evaluación de información entre idiomas: Taller del Foro de evaluación entre idiomas (CLEF 2000) | Carol Ann Peters | |
2001 | Darmstadt | Evaluación de sistemas de recuperación de información entre idiomas: Segundo taller del Foro de evaluación entre idiomas (CLEF 2001) Artículos revisados | Carol Ann Peters y Martin Braschler y Julio Gonzalo y Martin Kluck | ||
2002 | Roma | Avances en la recuperación de información entre idiomas: tercer taller del Foro de evaluación entre idiomas (CLEF 2002) Artículos revisados | Carol Ann Peters y Martin Braschler y Julio Gonzalo y Martin Kluck | ||
2003 | Trondheim | Evaluación comparativa de los sistemas de acceso a la información multilingües: Cuarto taller del Foro de evaluación de idiomas cruzados (CLEF 2003) Artículos seleccionados revisados | Carol Ann Peters y Martin Braschler y Julio Gonzalo y Martin Kluck | ||
2004 | Baño | Acceso a la información multilingüe para texto, voz e imágenes: Quinto taller del Foro de evaluación de idiomas cruzados (CLEF 2004) Artículos seleccionados revisados | Carol Ann Peters y Paul Clough y Julio Gonzalo y Gareth JF Jones y Martin Kluck y Bernardo Magnini | ||
2005 | Viena | Accediendo a repositorios de información multilingüe: Sexto taller del Foro de evaluación inter-lingüística (CLEF 2005). Artículos seleccionados revisados | Carol Ann Peters y Fred C Gey y Julio Gonzalo y Gareth JF Jones y Martin Kluck y Bernardo Magnini y Henning Müller y Maarten de Rijke | ||
2006 | Alicante | Evaluación de la Recuperación de Información Multilingüe y Multimodal: Séptimo Taller del Foro de Evaluación de Idiomas Transversales (CLEF 2006). Artículos seleccionados revisados | Carol Ann Peters y Clough, P. y Fred C Gey y Jussi Karlgren y Bernardo Magnini y Doug Oard y Maarten de Rijke y M Stempfhuber | ||
2007 | Budapest | Avances en la Recuperación de Información Multilingüe y Multimodal: Octavo Taller del Foro de Evaluación de Idiomas Transversales (CLEF 2007). Artículos seleccionados revisados | Carol Ann Peters y Jijkoun, V. y Mandl, T. y Henning Müller y Oard, DW y Peñas, A. y Petras, V. y Santos, D. | ||
2008 | Århus | Evaluación de sistemas para el acceso a la información multilingüe y multimodal: Noveno taller del Foro de evaluación de idiomas cruzados (CLEF 2008). Artículos seleccionados revisados | Carol Ann Peters y Deselaers, T. y Nicola Ferro y Julio Gonzalo y Gareth JF Jones y Kurimo, M. y Mandl, T. y Peñas, A. | ||
2009 | Corfú | Evaluación del acceso a la información multilingüe, vol. I Experimentos de recuperación de texto — Décimo taller del Foro de evaluación de idiomas cruzados (CLEF 2009). Artículos seleccionados revisados | Carol Ann Peters y Di Nunzio, GM y Kurimo, M. y Mandl, T. y Mostefa, D. y Peñas, A. y Roda, G. | ||
2010 | Padua | Primera conferencia | Evaluación del acceso a la información multilingüe y multimodal. Actas de la Conferencia Internacional del Foro de Evaluación de Idiomas (CLEF 2010 | Maristella Agosti y Nicola Ferro y Carol Ann Peters y Maarten de Rijke y Alan Smeaton | |
2011 | Amsterdam | Evaluación del acceso a la información multilingüe y multimodal. Actas de la Segunda Conferencia Internacional del Foro de Evaluación de Idiomas Transversales (CLEF 2011) | Forner, P. y Julio Gonzalo y Kekäläinen, J. y Lalmas, M. y Maarten de Rijke | ||
2012 | Roma | Evaluación del acceso a la información. Multilingüismo, multimodalidad y analítica visual. Actas de la Tercera Conferencia Internacional de la Iniciativa CLEF (CLEF 2012) | Catarci, T. y Forner, P. y Hiemstra, D. y Peñas, A. y Santucci, G. | ||
2013 | Valencia | La evaluación del acceso a la información se encuentra con el multilingüismo, la multimodalidad y la visualización. Actas de la Cuarta Conferencia Internacional de la Iniciativa CLEF (CLEF 2013) | Forner, P. y Henning Müller y Paredes, R. y Rosso, P. y Stein, B. | ||
2014 | Sheffield | Evaluación del acceso a la información: multilingüismo, multimodalidad e interacción. Actas de la Quinta Conferencia Internacional de la Iniciativa CLEF (CLEF 2014) | Kanoulas, E. y Lupu, M. y Clough, P. y Sanderson, M. y Hall, M. y Hanbury, A. y Toms, E. | ||
2015 | Toulouse | La RI experimental cumple con el multilingüismo, la multimodalidad y la interacción. Actas de la Sexta Conferencia Internacional de la Asociación CLEF (CLEF 2015) | Mothe, J. y Savoy, J. y Jaap Kamps y Pinel-Sauvagnat, K. y Gareth JF Jones y SanJuan, E. y Cappellato, L. y Nicola Ferro | ||
2016 | Evoria | La RI experimental cumple con el multilingüismo, la multimodalidad y la interacción. Actas de la Séptima Conferencia Internacional de la Asociación CLEF (CLEF 2016) | Fuhr, N. y Quaresma, P. y Goncalves, T. y Larsen, B. y Balog, K. y Macdonald, C. y Cappellato, L. y Nicola Ferro | ||
2017 | Dublín | La RI experimental cumple con el multilingüismo, la multimodalidad y la interacción. Actas de la Octava Conferencia Internacional de la Asociación CLEF (CLEF 2017) | Gareth JF Jones y Lawless, S. y Julio Gonzalo y Kelly, L. y Lorraine Goeuriot y Thomas Mandl y Cappellato, L. y Nicola Ferro | ||
2018 | Avignone | La RI experimental cumple con el multilingüismo, la multimodalidad y la interacción. Actas de la Novena Conferencia Internacional de la Asociación CLEF (CLEF 2018) | Patrice Bellot, Chiraz Trabelsi, Josiane Mothe, Fionn Murtagh, Jian-Yun Nie, Laure Soulier, Eric SanJuan, Linda Cappellato y Nicola Ferro | ||
2019 | Lugano | ... | ... |
Referencias
- ^ Peters, Carol; Braschler, Martin; Choukri, Khalid; Gonzalo, Julio; Kluck, Michael. El futuro de la evaluación para los sistemas de recuperación de información entre idiomas . Segundo taller del Foro de evaluación de idiomas cruzados, CLEF 2001. CiteSeerX 10.1.1.109.7647 .
- ^ Peters, Carol y Martin Braschler. "Carta de investigación europea: Evaluación de sistemas interlingüísticos: Las campañas CLEF". Revista de la Asociación de Ciencia y Tecnología de la Información 52.12 (2001): 1067-1072.
- ^ Historia de CLEF antes de 2010
- ^ "Número especial sobre CLEF". Recuperación de información . 7 (1-2). 2004. doi : 10.1023 / B: INRT.0000009472.59294.f6 .
- ^ Fredric C. Gey, Noriko Kando y Carol Peters "Recuperación de información entre idiomas: el camino a seguir" en Procesamiento y gestión de información vol. 41, no. 3, p.415-431 de mayo de 2005, doi : 10.1016 / j.ipm.2004.06.006
- ^ Karlgren, Jussi ; Gonzalo, Julio; Clough, Paul (2006). Descripción general de iclef 2006: búsqueda en el repositorio para compartir fotografías de flickr www . Séptimo Taller del Foro de Evaluación Transversal CLEF 2006..
- ^ Mueller, Henning (20 de mayo de 2010). "Tarea de recuperación médica" . ImageCLEF: evaluaciones de recuperación de imágenes en varios idiomas . Consultado el 27 de mayo de 2010 .