Búsqueda de texto completo

Se ha sugerido que este artículo se fusione con la recuperación de información . ( Discutir ) Propuesta desde octubre de 2020.

Este artículo necesita citas adicionales para su verificación . Por favor, ayuda a mejorar este artículo mediante la adición de citas de fuentes confiables . El material no obtenido puede ser cuestionado y eliminado.
Buscar fuentes: "Búsqueda de texto completo" - noticias · periódicos · libros · académico · JSTOR ( agosto de 2012 ) ( Aprenda cómo y cuándo eliminar este mensaje de plantilla )

En la recuperación de texto , la búsqueda de texto completo se refiere a técnicas para buscar un solo documento almacenado en computadora o una colección en una base de datos de texto completo . La búsqueda de texto completo se distingue de las búsquedas basadas en metadatos o en partes de los textos originales representados en bases de datos (como títulos, resúmenes, secciones seleccionadas o referencias bibliográficas).

En una búsqueda de texto completo, un motor de búsqueda examina todas las palabras de cada documento almacenado mientras intenta coincidir con los criterios de búsqueda (por ejemplo, el texto especificado por un usuario). Las técnicas de búsqueda de texto completo se hicieron comunes en las bases de datos bibliográficas en línea en la década de 1990. ^{[ verificación necesaria ]} Muchos sitios web y programas de aplicación (como el software de procesamiento de texto) ofrecen funciones de búsqueda de texto completo. Algunos motores de búsqueda web, como AltaVista , emplean técnicas de búsqueda de texto completo, mientras que otros indexan solo una parte de las páginas web examinadas por sus sistemas de indexación. ^[1]

Indexación

Cuando se trata de una pequeña cantidad de documentos, es posible que el motor de búsqueda de texto completo escanee directamente el contenido de los documentos con cada consulta , una estrategia llamada " escaneo en serie ". Esto es lo que hacen algunas herramientas, como grep , al realizar búsquedas.

Sin embargo, cuando la cantidad de documentos para buscar es potencialmente grande o la cantidad de consultas de búsqueda para realizar es sustancial, el problema de la búsqueda de texto completo a menudo se divide en dos tareas: indexación y búsqueda. La etapa de indexación escaneará el texto de todos los documentos y creará una lista de términos de búsqueda (a menudo denominada índice , pero más correctamente denominada concordancia ). En la etapa de búsqueda, al realizar una consulta específica, solo se hace referencia al índice, en lugar del texto de los documentos originales. ^[2]

El indexador hará una entrada en el índice para cada término o palabra que se encuentre en un documento, y posiblemente anotará su posición relativa dentro del documento. Por lo general, el indexador ignorará las palabras vacías (como "el" y "y") que son comunes e insuficientemente significativas para ser útiles en la búsqueda. Algunos indexadores también emplean derivaciones específicas del idioma en las palabras que se indexan. Por ejemplo, las palabras "impulsa", "impulsa" y "impulsa" se registrarán en el índice bajo la palabra de concepto único "unidad".

La compensación entre precisión y recuperación

Diagrama de una búsqueda de baja precisión y baja recuperación

La recuperación mide la cantidad de resultados relevantes devueltos por una búsqueda, mientras que la precisión es la medida de la calidad de los resultados devueltos. El recuerdo es la proporción de resultados relevantes devueltos a todos los resultados relevantes. La precisión es el número de resultados relevantes devueltos al número total de resultados devueltos.

El diagrama de la derecha representa una búsqueda de baja precisión y poca recuperación. En el diagrama, los puntos rojos y verdes representan la población total de posibles resultados de búsqueda para una búsqueda determinada. Los puntos rojos representan resultados irrelevantes y los puntos verdes representan resultados relevantes. La relevancia se indica por la proximidad de los resultados de búsqueda al centro del círculo interior. De todos los resultados posibles mostrados, los que realmente fueron devueltos por la búsqueda se muestran sobre un fondo azul claro. En el ejemplo, solo se devolvió 1 resultado relevante de 3 posibles resultados relevantes, por lo que la recuperación es una proporción muy baja de 1/3, o 33%. La precisión para el ejemplo es muy baja 1/4, o 25%, ya que solo 1 de los 4 resultados devueltos fue relevante. ^[3]

Debido a las ambigüedades del lenguaje natural , los sistemas de búsqueda de texto completo generalmente incluyen opciones como palabras vacías para aumentar la precisión y la derivación para aumentar la memoria. La búsqueda de vocabulario controlado también ayuda a aliviar los problemas de baja precisión al etiquetar los documentos de tal manera que se eliminan las ambigüedades. La compensación entre precisión y recuperación es simple: un aumento en la precisión puede reducir la recuperación general, mientras que un aumento en la recuperación reduce la precisión. ^[4]

Problema de falso positivo

Es probable que la búsqueda de texto completo recupere muchos documentos que no son relevantes para la pregunta de búsqueda deseada . Dichos documentos se denominan falsos positivos (consulte el error Tipo I ). La recuperación de documentos irrelevantes a menudo se debe a la ambigüedad inherente del lenguaje natural . En el diagrama de muestra a la derecha, los falsos positivos están representados por los resultados irrelevantes (puntos rojos) que fueron devueltos por la búsqueda (sobre un fondo azul claro).

Las técnicas de agrupación basadas en algoritmos bayesianos pueden ayudar a reducir los falsos positivos. Para un término de búsqueda de "banco", la agrupación se puede utilizar para clasificar el universo de documentos / datos en "institución financiera", "lugar para sentarse", "lugar para almacenar", etc. Dependiendo de la aparición de palabras relevantes para las categorías, Los términos de búsqueda o un resultado de búsqueda se pueden colocar en una o más de las categorías. Esta técnica se está implementando ampliamente en el dominio del descubrimiento electrónico . ^{[ aclaración necesaria ]}

Mejoras de rendimiento

Las deficiencias de la búsqueda de texto libre se han abordado de dos maneras: proporcionando a los usuarios herramientas que les permitan expresar sus preguntas de búsqueda con mayor precisión y desarrollando nuevos algoritmos de búsqueda que mejoran la precisión de la recuperación.

Herramientas de consulta mejoradas

Palabras clave . Se solicita a los creadores de documentos (o indexadores capacitados) que proporcionen una lista de palabras que describen el tema del texto, incluidos sinónimos de palabras que describen este tema. Las palabras clave mejoran la memoria, especialmente si la lista de palabras clave incluye una palabra de búsqueda que no está en el texto del documento.
Búsqueda de campo restringido . Algunos motores de búsqueda permiten a los usuarios limitar las búsquedas de texto libre a un campo particular dentro de un registro de datos almacenado , como "Título" o "Autor".
Consultas booleanas . Las búsquedas que utilizanoperadores booleanos (por ejemplo, "enciclopedia" Y "en línea" NO "Encarta" ) pueden aumentar drásticamente la precisión de una búsqueda de texto libre. Eloperador AND dice, en efecto, "No recupere ningún documento a menos que contenga ambos términos". Eloperador NOT dice, en efecto, "No recupere ningún documento que contenga esta palabra". Si la lista de recuperación recupera muy pocos documentos,se puede utilizar el operador OR para aumentar la recuperación ; considere, por ejemplo, "enciclopedia" Y "en línea" O "Internet" NO "Encarta ". Esta búsqueda recuperará documentos sobre enciclopedias en línea que utilizan el término "Internet" en lugar de "en línea". Este aumento en la precisión es muy comúnmente contraproducente, ya que generalmente viene con una pérdida dramática de memoria. ^[5]
Búsqueda de frases . Una búsqueda de frases solo coincide con los documentos que contienen una frase específica, como "Wikipedia, la enciclopedia libre".
Búsqueda de conceptos . Una búsqueda que se basa en conceptos de varias palabras, por ejemplo, procesamiento de términos compuestos . Este tipo de búsqueda se está volviendo popular en muchas soluciones de descubrimiento electrónico.
Búsqueda de concordancia . Una búsqueda de concordancia produce una lista alfabética de todas las palabras principales que aparecen en un texto con su contexto inmediato.
Búsqueda de proximidad . Una búsqueda de frases solo coincide con los documentos que contienen dos o más palabras separadas por un número específico de palabras; una búsqueda de "Wikipedia" DENTRO de "gratis" recuperaría sólo aquellos documentos en los que las palabras "Wikipedia" y "gratis" aparecen dentro de dos palabras entre sí.
Expresión regular . Una expresión regular emplea una sintaxis de consulta compleja pero potente que se puede utilizar para especificar condiciones de recuperación con precisión.
La búsqueda aproximada buscará documentos que coincidan con los términos dados y alguna variación a su alrededor (usando, por ejemplo, la distancia de edición para establecer el umbral de la variación múltiple)
Búsqueda con comodines . Una búsqueda que sustituye uno o más caracteres en una consulta de búsqueda por un carácter comodín, como un asterisco . Por ejemplo, usando el asterisco en una consulta de búsqueda "s * n" encontrará "sin", "hijo", "sol", etc. en un texto.

Algoritmos de búsqueda mejorados

El algoritmo PageRank desarrollado por Google da más importancia a los documentos a los que se han vinculado otras páginas web . ^[6] Consulte Motor de búsqueda para ver ejemplos adicionales.

Software

La siguiente es una lista parcial de productos de software disponibles cuyo propósito principal es realizar búsquedas e índices de texto completo. Algunos de estos van acompañados de descripciones detalladas de su teoría de funcionamiento o algoritmos internos, que pueden proporcionar información adicional sobre cómo se puede realizar la búsqueda de texto completo.

Software gratuito y de código abierto

Apache Lucene
Apache Solr
ArangoBuscar
BaseX
Elasticsearch
KinoSearch
Lémur / Indri
mnoGoSearch
OpenSearch
PostgreSQL
Searchdaimon
Esfinge
Swish-e
Plataforma Terrier IR
Xapian
Bsasearch
RediSearch
Búsqueda Bleve

Software propietario

Algolia
Corporación de autonomía
Búsqueda de Azure
Proyecto Bar Ilan Responsa
Base de datos básica
Brainware
BRS / Búsqueda
Concepto de búsqueda limitada
Dieselpoint
dtSearch
Endeca
Exalead
Búsqueda y transferencia rápidas
Inktomi
Locayta (rebautizado como ATTRAQT en 2014) ^{[ cita requerida ]}
Imaginación lúcida
MarkLogic
SAP HANA ^[7]
Swiftype
Thunderstone Software LLC.
Vivísimo

Referencias

^ En la práctica, puede resultar difícil determinar cómo funciona un motor de búsqueda determinado. Los algoritmos de búsqueda realmente empleados por los servicios de búsqueda web rara vez se revelan por completo por temor a que los empresarios web utilicentécnicas de optimización de motores de búsqueda para mejorar su prominencia en las listas de recuperación.
^ "Capacidades del sistema de búsqueda de texto completo" . Archivado desde el original el 23 de diciembre de 2010.
^ Coles, Michael (2008). Búsqueda de texto completo profesional en SQL Server 2008 (versión 1 ed.). Empresa editorial Apress . ISBN 978-1-4302-1594-3.
^ B., Yuwono; Lee, DL (1996). Algoritmos de búsqueda y clasificación para localizar recursos en la World Wide Web . XII Congreso Internacional de Ingeniería de Datos (ICDE'96). pag. 164.
^ Los estudios han demostrado repetidamente que la mayoría de los usuarios no comprenden los impactos negativos de las consultas booleanas. [1]
^ US 6285999 , Page, Lawrence, "Método para la clasificación de nodos en una base de datos vinculada", publicado el 9 de enero de 1998 , publicado el 4 de septiembre de 2001 . "Un método asigna rangos de importancia a los nodos en una base de datos vinculada, como cualquier base de datos de documentos que contengan citas, la World Wide Web o cualquier otra base de datos hipermedia. El rango asignado a un documento se calcula a partir de los rangos de documentos que lo citan. Además , el rango de un documento es ... "
^ "SAP agrega paquetes de software basados en HANA a la cartera de IoT | MarTech Advisor" . www.martecha 0000-.com .

Ver también

Coincidencia de patrones y coincidencia de cuerdas
Procesamiento de término compuesto
Búsqueda empresarial
Extracción de información
Recuperación de información
Facetas de búsqueda
Lista de proveedores de búsqueda empresarial
WebCrawler , primer motor FTS
Indexación de motores de búsqueda: cómo los motores de búsqueda generan índices para respaldar la búsqueda de texto completo

[1] En la práctica, puede resultar difícil determinar cómo funciona un motor de búsqueda determinado. Los algoritmos de búsqueda realmente empleados por los servicios de búsqueda web rara vez se revelan por completo por temor a que los empresarios web utilicentécnicas de optimización de motores de búsqueda para mejorar su prominencia en las listas de recuperación.

[Capabilities_of_Full_Text_Search_System-2] "Capacidades del sistema de búsqueda de texto completo" . Archivado desde el original el 23 de diciembre de 2010.

[isbn1430215941-3] Coles, Michael (2008). Búsqueda de texto completo profesional en SQL Server 2008 (versión 1 ed.). Empresa editorial Apress . ISBN 978-1-4302-1594-3.

[YuwonoLee-4] B., Yuwono; Lee, DL (1996). Algoritmos de búsqueda y clasificación para localizar recursos en la World Wide Web . XII Congreso Internacional de Ingeniería de Datos (ICDE'96). pag. 164.

[5] ^ Los estudios han demostrado repetidamente que la mayoría de los usuarios no comprenden los impactos negativos de las consultas booleanas. [1]

[6] US 6285999 , Page, Lawrence, "Método para la clasificación de nodos en una base de datos vinculada", publicado el 9 de enero de 1998 , publicado el 4 de septiembre de 2001 . "Un método asigna rangos de importancia a los nodos en una base de datos vinculada, como cualquier base de datos de documentos que contengan citas, la World Wide Web o cualquier otra base de datos hipermedia. El rango asignado a un documento se calcula a partir de los rangos de documentos que lo citan. Además , el rango de un documento es ... "

[7] "SAP agrega paquetes de software basados en HANA a la cartera de IoT | MarTech Advisor" . www.martecha 0000-.com .

[1]