La Text REtrieval Conference ( TREC ) es una serie continua de talleres que se centran en una lista de diferentes áreas o pistas de investigación de recuperación de información (IR) . Está copatrocinado por el Instituto Nacional de Estándares y Tecnología (NIST) y la Actividad de Proyectos de Investigación Avanzada de Inteligencia (parte de la oficina del Director de Inteligencia Nacional ), y comenzó en 1992 como parte del programa TIPSTER Text . Su propósito es apoyar y fomentar la investigación dentro de la comunidad de recuperación de información proporcionando la infraestructura necesaria para la evaluación a gran escala demetodologías de recuperación de texto y para aumentar la velocidad de transferencia de tecnología de laboratorio a producto .
Conferencia de recuperación de texto | |
---|---|
Abreviatura | TREC |
Disciplina | recuperación de información |
Detalles de la publicación | |
Editor | NIST |
Historia | 1992 |
Frecuencia | anual |
Sitio web | trec |
Los protocolos de evaluación de TREC han mejorado muchas tecnologías de búsqueda. Un estudio de 2010 estimó que "sin TREC, los usuarios de Internet de EE. UU. Habrían gastado hasta 3.150 millones de horas adicionales utilizando motores de búsqueda web entre 1999 y 2009". [1] Hal Varian , economista jefe de Google, escribió que "los datos de TREC revitalizaron la investigación sobre la recuperación de información. Tener un conjunto de datos estándar, ampliamente disponible y cuidadosamente construido sentó las bases para una mayor innovación en este campo". [2]
Cada pista tiene un desafío en el que NIST proporciona a los grupos participantes conjuntos de datos y problemas de prueba. Dependiendo de la pista, los problemas de prueba pueden ser preguntas, temas o características extraíbles de destino . Se realiza una puntuación uniforme para que los sistemas puedan evaluarse de manera justa. Después de la evaluación de los resultados, un taller proporciona un lugar para que los participantes recopilen pensamientos e ideas y presenten el trabajo de investigación actual y futuro. La Conferencia de Recuperación de Texto comenzó en 1992, financiada por DARPA (Proyecto de Investigación Avanzada de Defensa de EE. UU.) Y dirigida por NIST. Su propósito era apoyar la investigación dentro de la comunidad de recuperación de información proporcionando la infraestructura necesaria para la evaluación a gran escala de las metodologías de recuperación de texto.
Metas
- Fomentar la búsqueda de recuperación basada en grandes colecciones de texto
- Incrementar la comunicación entre la industria, la academia y el gobierno creando un foro abierto para el intercambio de ideas de investigación.
- Acelerar la transferencia de tecnología de los laboratorios de investigación a los productos comerciales demostrando mejoras sustanciales en las metodologías de recuperación de problemas del mundo real.
- Aumentar la disponibilidad de técnicas de evaluación apropiadas para su uso por la industria y el mundo académico, incluido el desarrollo de nuevas técnicas de evaluación más aplicables a los sistemas actuales.
TREC es supervisado por un comité de programa que consta de representantes del gobierno, la industria y el mundo académico. Para cada TREC, el NIST proporciona un conjunto de documentos y preguntas. Los participantes ejecutan su propio sistema de recuperación de los datos y devuelven al NIST una lista de los documentos recuperados mejor clasificados. El NIST agrupa el resultado individual, juzga la exactitud de los documentos recuperados y evalúa los resultados. El ciclo TREC finaliza con un taller que es un foro para que los participantes compartan sus experiencias.
Juicios de relevancia en TREC
TREC utiliza un criterio de relevancia binario que indica que el documento es relevante o no es relevante. Dado que el tamaño de la colección TREC es grande, es imposible calcular la recuperación absoluta para cada consulta. Para evaluar la relevancia de los documentos en relación con una consulta, TREC utiliza un método específico de agrupación de llamadas para calcular el recuerdo relativo. Todos los documentos relevantes que ocurrieron en los 100 documentos principales para cada sistema y para cada consulta se combinan para producir un conjunto de documentos relevantes. Recuerde que es la proporción del conjunto de documentos relevantes que un solo sistema recuperó para un tema de consulta.
Varios TREC
En 1992 TREC-1 se llevó a cabo en NIST. La primera conferencia atrajo a 28 grupos de investigadores de la academia y la industria. Demostró una amplia gama de diferentes enfoques para la recuperación de texto de grandes colecciones de documentos. Finalmente, TREC1 reveló los hechos de que la construcción automática de consultas a partir de declaraciones de consultas en lenguaje natural parece funcionar. Las técnicas basadas en el procesamiento del lenguaje natural no fueron mejores ni peores que las basadas en el enfoque vectorial o probabilístico.
TREC2 Se llevó a cabo en agosto de 1993. Participaron 31 grupos de investigadores. Se examinaron dos tipos de recuperación. Recuperación mediante una consulta "ad hoc" y recuperación mediante una "consulta de enrutamiento".
En TREC-3, un grupo pequeño de experimentos trabajó con la colección en español y otros se ocuparon de la formulación de consultas interactivas en múltiples bases de datos.
TREC-4 lo hicieron aún más corto para investigar los problemas con declaraciones de usuario muy cortas
TREC-5 incluye versiones cortas y largas de los temas con el objetivo de llevar a cabo una investigación más profunda sobre qué tipos de técnicas funcionan bien en diferentes longitudes de temas.
En TREC-6 se introdujeron tres nuevas pistas de habla, lenguaje cruzado y recuperación de información de alta precisión. El objetivo de la recuperación de información en varios idiomas es facilitar la investigación en sistemas que pueden recuperar documentos relevantes independientemente del idioma del documento fuente.
TREC-7 contenía siete pistas, de las cuales dos eran una nueva pista de consulta y una pista de corpus muy grande. El objetivo del seguimiento de consultas era crear una gran colección de consultas.
TREC-8 contiene siete pistas, de las cuales dos, la respuesta a preguntas y las pistas web, eran nuevas. El objetivo de QA query es explorar las posibilidades de proporcionar respuestas a consultas específicas de lenguaje natural.
TREC-9 Incluye siete pistas
En TREC-10, las pistas de video introdujeron el diseño de pistas de video para promover la investigación en la recuperación basada en contenido de video digital.
En TREC-11 se introdujeron las pistas de la novedad. El objetivo del seguimiento de novedades es investigar las capacidades de los sistemas para localizar información nueva y relevante dentro del conjunto clasificado de documentos devueltos por un sistema de recuperación de documentos tradicional.
TREC-12 celebrada en 2003 agregó tres nuevas pistas Genome track, pista de recuperación robusta, HARD (recuperación de documentos altamente precisa [3]
Pistas
Pistas actuales
Se agregan nuevas pistas a medida que se identifican nuevas necesidades de investigación; esta lista está actualizada para TREC 2018. [4]
- CENTER Track - Objetivo: ejecutar en paralelo CLEF 2018, NTCIR-14, TREC 2018 para desarrollar y ajustar un protocolo de evaluación de reproducibilidad IR (nuevo track para 2018).
- Common Core Track - Objetivo: una tarea de búsqueda ad hoc sobre documentos de noticias.
- Recuperación de respuestas complejas (CAR) - Objetivo: desarrollar sistemas capaces de responder a necesidades de información complejas mediante la recopilación de información de un corpus completo.
- Pista de flujos de incidentes - Objetivo: investigar tecnologías para procesar automáticamente los flujos de redes sociales durante situaciones de emergencia (nueva pista para TREC 2018).
- The News Track - Goal: asociación con The Washington Post para desarrollar colecciones de prueba en el entorno de las noticias (nuevo para 2018).
- Pista de Medicina de precisión - Objetivo: una especialización de la pista de Soporte de decisiones clínicas para centrarse en vincular los datos de pacientes oncológicos con los ensayos clínicos.
- Pista de resumen en tiempo real (RTS) - Objetivo: explorar técnicas para resúmenes de actualización en tiempo real de las transmisiones de redes sociales.
Pistas pasadas
- Chemical Track - Objetivo: desarrollar y evaluar tecnología para búsquedas a gran escala en documentos relacionados con la química , incluidos artículos académicos y patentes, para satisfacer mejor las necesidades de los buscadores profesionales y, específicamente, los buscadores de patentes y los químicos.
- Vía de apoyo a la toma de decisiones clínicas - Objetivo: investigar técnicas para vincular casos médicos con información relevante para la atención del paciente
- Pista de sugerencia contextual : objetivo: investigar técnicas de búsqueda para necesidades de información complejas que dependen en gran medida del contexto y los intereses del usuario.
- Pista de crowdsourcing : objetivo: proporcionar un lugar de colaboración para explorar métodos de crowdsourcing tanto para evaluar la búsqueda como para realizar tareas de búsqueda.
- Pista de Genómica - Objetivo: estudiar la recuperación de datos genómicos , no solo las secuencias de genes, sino también la documentación de respaldo, como trabajos de investigación, informes de laboratorio, etc. Última ejecución en TREC 2007.
- Seguimiento de dominio dinámico - Objetivo: investigar algoritmos de búsqueda específicos de dominio que se adapten a las necesidades de información dinámica de los usuarios profesionales mientras exploran en dominios complejos.
- Enterprise Track - Objetivo: estudiar la búsqueda sobre los datos de una organización para completar alguna tarea. Se ejecutó por última vez en TREC 2008.
- Entidad Pista - Objetivo: Para realizar una búsqueda entidad relacionada en datos de la Web. Estas tareas de búsqueda (como encontrar entidades y propiedades de entidades) abordan necesidades de información comunes que no están tan bien modeladas como la búsqueda de documentos ad hoc.
- Pista de idiomas cruzados - Objetivo: investigar la capacidad de los sistemas de recuperación para encontrar documentos por temas independientemente del idioma de origen. Después de 1999, esta pista se convirtió en CLEF .
- FedWeb Track - Objetivo: seleccionar los mejores recursos para reenviar una consulta y fusionar los resultados para que los más relevantes estén en la parte superior.
- Pista de búsqueda web federada - Objetivo: investigar técnicas para la selección y combinación de resultados de búsqueda de un gran número de servicios de búsqueda web en línea reales.
- Pista de filtrado - Objetivo: decidir binariamente la recuperación de nuevos documentos entrantes dada una necesidad de información estable .
- HARD Track - Objetivo: lograr una recuperación de alta precisión de los documentos aprovechando la información adicional sobre el buscador y / o el contexto de búsqueda.
- Pista interactiva - Objetivo: estudiar la interacción del usuario con los sistemas de recuperación de texto.
- Knowledge Base Acceleration (KBA) Track - Objetivo: desarrollar técnicas para mejorar drásticamente la eficiencia de los curadores de la base de conocimientos (humanos) haciendo que el sistema sugiera modificaciones / extensiones a la KB en función de su monitoreo de los flujos de datos, creó el KBA streamcorpus , organizado por Diffeo . [5]
- Legal Track - Objetivo: desarrollar tecnología de búsqueda que satisfaga las necesidades de los abogados para participar en el descubrimiento efectivo en colecciones de documentos digitales .
- LiveQA Track - Objetivo: generar respuestas a preguntas reales provenientes de usuarios reales a través de un flujo de preguntas en vivo, en tiempo real.
- Seguimiento de registros médicos - Objetivo: explorar métodos para buscar información no estructurada que se encuentra en los registros médicos de los pacientes.
- Seguimiento de microblogs - Objetivo: examinar la naturaleza de las necesidades de información en tiempo real y su satisfacción en el contexto de entornos de microblogging como Twitter.
- Pista de procesamiento del lenguaje natural - Objetivo: examinar cómo las herramientas específicas desarrolladas por lingüistas computacionales pueden mejorar la recuperación.
- Novedad Track - Objetivo: investigar las capacidades de los sistemas para localizar información nueva (es decir, no redundante).
- OpenSearch Track - Objetivo: explorar un paradigma de evaluación para RI que involucre a usuarios reales de motores de búsqueda operativos. Para el primer año de la pista, la tarea fue la búsqueda académica ad hoc.
- Pista de respuesta a preguntas - Objetivo: lograr una mayor recuperación de información que solo la recuperación de documentos respondiendo preguntas de tipo factoide, de lista y de definición.
- Pista de resumen en tiempo real - Objetivo: explorar técnicas para construir resúmenes de actualización en tiempo real a partir de transmisiones de redes sociales en respuesta a las necesidades de información de los usuarios.
- Pista de recuperación sólida - Objetivo: centrarse en la eficacia de un tema individual.
- Vía de retroalimentación de relevancia - Objetivo: realizar una evaluación más profunda de los procesos de retroalimentación de relevancia.
- Seguimiento de la sesión - Objetivo: desarrollar métodos para medir sesiones de consultas múltiples en las que la información se desvía o se vuelve más o menos específica durante la sesión.
- Seguimiento de correo no deseado : objetivo: proporcionar una evaluación estándar de los enfoques de filtrado de correo no deseado actuales y propuestos .
- Seguimiento de tareas - Objetivo: probar si los sistemas pueden inducir las posibles tareas que los usuarios podrían estar intentando realizar dada una consulta.
- Pista de resumen temporal - Objetivo: desarrollar sistemas que permitan a los usuarios monitorear de manera eficiente la información asociada con un evento a lo largo del tiempo.
- Pista de terabytes - Objetivo: investigar si la comunidad de RI puede escalar la evaluación tradicional basada en colecciones de pruebas de RI a colecciones significativamente grandes, y cómo hacerlo.
- Pista de recuperación total - Objetivo: evaluar métodos para lograr una recuperación muy alta, incluidos los métodos que incluyen a un evaluador humano en el circuito.
- Pista de video - Objetivo: investigar la segmentación automática, la indexación y la recuperación basada en contenido de video digital . En 2003, esta pista se convirtió en su propia evaluación independiente llamada TRECVID
- Web Track - Objetivo: explorar comportamientos de búsqueda de información comunes en la búsqueda web general.
Eventos relacionados
En 1997, se lanzó una contraparte japonesa de TREC (primer taller en 1999), llamado NTCIR ( NII Test Collection for IR Systems), y en 2000, CLEF , una contraparte europea, específicamente orientada hacia el estudio de la recuperación de información entre idiomas. lanzado. El Foro para la Evaluación de la Recuperación de Información (FIRE) comenzó en 2008 con el objetivo de construir una contraparte del sur de Asia para TREC, CLEF y NTCIR,
Contribuciones de la conferencia a la eficacia de la búsqueda
NIST afirma que durante los primeros seis años de los talleres, la efectividad de los sistemas de recuperación aproximadamente se duplicó. [6] La conferencia también fue la primera en realizar evaluaciones a gran escala de documentos, discursos, videos y recuperaciones en varios idiomas que no están en inglés. Además, los desafíos han inspirado un gran número de publicaciones . La tecnología desarrollada por primera vez en TREC ahora se incluye en muchos de los motores de búsqueda comerciales del mundo . Un informe independiente de RTII encontró que "alrededor de un tercio de la mejora en los motores de búsqueda web de 1999 a 2009 es atribuible a TREC. Esas mejoras probablemente ahorraron hasta 3 mil millones de horas de tiempo utilizando motores de búsqueda web ... El informe mostró que por cada $ 1 que el NIST y sus socios invirtieron en TREC, se acumularon al menos $ 3.35 a $ 5.07 en beneficios para los investigadores de recuperación de información de EE. UU. tanto en el sector privado como en la academia ". [7] [8]
Si bien un estudio sugiere que el estado del arte de la búsqueda ad hoc no avanzó sustancialmente en la década anterior a 2009, [9] se refiere solo a la búsqueda de documentos de actualidad en pequeñas colecciones de noticias y web de unos pocos gigabytes. Ha habido avances en otros tipos de búsqueda ad hoc. Por ejemplo, se crearon colecciones de prueba para la búsqueda web de elementos conocidos que encontraron mejoras a partir del uso de texto de anclaje, ponderación del título y longitud de la URL, que no eran técnicas útiles en las colecciones de prueba ad hoc más antiguas. En 2009, se introdujo una nueva colección web de mil millones de páginas y se descubrió que el filtrado de spam es una técnica útil para la búsqueda web ad hoc, a diferencia de las colecciones de prueba anteriores.
Las colecciones de pruebas desarrolladas en TREC son útiles no solo para (potencialmente) ayudar a los investigadores a avanzar en el estado del arte, sino también para permitir a los desarrolladores de nuevos productos de recuperación (comerciales) evaluar su efectividad en pruebas estándar. En la última década, TREC ha creado nuevas pruebas para la búsqueda de correo electrónico empresarial, búsqueda genómica, filtrado de spam, e-Discovery y varios otros dominios de recuperación. [ cuando? ] [ cita requerida ]
Los sistemas TREC a menudo proporcionan una línea de base para futuras investigaciones. Ejemplos incluyen:
- Hal Varian , economista jefe de Google , dice que mejores datos contribuyen a mejorar la ciencia. La historia de la recuperación de información ilustra bien este principio "y describe la contribución de TREC. [10]
- La trayectoria legal de TREC ha influido en la comunidad de e-Discovery tanto en la investigación como en la evaluación de proveedores comerciales. [11]
- El IBM edificio investigador equipo de IBM Watson (también conocido como DeepQA ), que venció a los mejores del mundo Jeopardy! jugadores, [12] utilizaron datos y sistemas de QA Track de TREC como medidas de rendimiento de referencia. [13]
Participación
La conferencia está compuesta por un grupo variado e internacional de investigadores y desarrolladores. [14] [15] [16] En 2003, participaron 93 grupos tanto del mundo académico como de la industria de 22 países.
Ver también
- Lista de premios de informática
Referencias
- ^ Brent R. Rowe, Dallas W. Wood, Albert N. Link y Diglio A. Simoni (julio de 2010). "Evaluación del impacto económico del programa de la Conferencia de recuperación de texto (TREC) del NIST" (PDF) . RTI International . Cite journal requiere
|journal=
( ayuda )Mantenimiento de CS1: utiliza el parámetro de autores ( enlace ) - ^ Hal Varian (4 de marzo de 2008). "Por qué importan los datos" .
- ^ Chowdhury, G. G (2003). Introducción a la recuperación de información moderna . Landon: publicación de facetas. págs. 269-279. ISBN 978-1856044806.
- ^ https://trec.nist.gov/tracks.html
- ^ "Pista de aceleración de la base de conocimientos" . NIST .gov. 2014-06-30 . Consultado el 4 de noviembre de 2020 .
- ^ De la página de inicio de TREC: "... la eficacia aproximadamente se duplicó en los primeros seis años de TREC"
- ^ "Motores de búsqueda significativamente mejorados de inversión de NIST" . Rti.org. Archivado desde el original el 18 de noviembre de 2011 . Consultado el 19 de enero de 2012 .
- ^ https://www.nist.gov/director/planning/upload/report10-1.pdf
- ^ Timothy G. Armstrong, Alistair Moffat, William Webber, Justin Zobel. Mejoras que no cuadran: resultados de recuperación ad hoc desde 1998. CIKM 2009. ACM.
- ^ Por qué son importantes los datos
- ^ The 451 Group: Estándares en e-Discovery - caminando por el camino
- ^ IBM y Jeopardy! Reviva la historia con la presentación repetida de Jeopardy !: The IBM Challenge
- ^ David Ferrucci, Eric Brown, Jennifer Chu-Carroll, James Fan, David Gondek, Aditya A. Kalyanpur, Adam Lally, J. William Murdock, Eric Nyberg, John Prager, Nico Schlaefer y Chris Welt. Construyendo Watson: una descripción general del proyecto DeepQA
- ^ "Participantes - IRF Wiki" . Wiki.ir-facility.org. 2009-12-01. Archivado desde el original el 23 de febrero de 2012 . Consultado el 19 de enero de 2012 .
- ^ http://trec.nist.gov/pubs/trec17/papers/LEGAL.OVERVIEW08.pdf
- ^ "Conferencia de recuperación de texto (TREC) TREC 2008 Million Query Track Results" . Trec.nist.gov . Consultado el 19 de enero de 2012 .
enlaces externos
- Sitio web de TREC en NIST
- CONSEJERO
- El libro TREC (en Amazon)