La minería de conceptos es una actividad que da como resultado la extracción de conceptos de artefactos . Las soluciones para la tarea generalmente involucran aspectos de inteligencia artificial y estadísticas , como minería de datos y minería de texto . [1] [2] Debido a que los artefactos son típicamente una secuencia poco estructurada de palabras y otros símbolos (en lugar de conceptos), el problema no es trivial , pero puede proporcionar información poderosa sobre el significado, la procedencia y la similitud de los documentos.
Tradicionalmente, la conversión de palabras a conceptos se ha realizado utilizando un tesauro , [3] y para las técnicas computacionales la tendencia es hacer lo mismo. Los tesauros utilizados son creados especialmente para la tarea o un modelo de lenguaje preexistente, generalmente relacionado con WordNet de Princeton .
Las asignaciones de palabras a conceptos [4] suelen ser ambiguas . Normalmente, cada palabra de un idioma determinado se relacionará con varios conceptos posibles. Los seres humanos utilizan el contexto para eliminar la ambigüedad de los diversos significados de un texto determinado, donde los sistemas de traducción automática disponibles no pueden inferir fácilmente el contexto.
Sin embargo, para los propósitos de la minería de conceptos, estas ambigüedades tienden a ser menos importantes que con la traducción automática, ya que en documentos grandes las ambigüedades tienden a nivelarse, al igual que en el caso de la minería de texto.
Hay muchas técnicas de desambiguación que se pueden utilizar. Algunos ejemplos son el análisis lingüístico del texto y el uso de información de frecuencia de asociación de palabras y conceptos que puede inferirse de grandes corpus de texto. Recientemente, han aparecido y ganado interés en la comunidad científica técnicas que se basan en la similitud semántica entre los posibles conceptos y el contexto.
Una de las consecuencias del cálculo de estadísticas de documentos en el dominio de conceptos, en lugar del dominio de palabras, es que los conceptos forman estructuras de árboles naturales basadas en la hipernimia y la meronimia . Estas estructuras se pueden usar para generar estadísticas simples de pertenencia a árboles, que se pueden usar para ubicar cualquier documento en un espacio conceptual euclidiano . Si el tamaño de un documento también se considera como otra dimensión de este espacio, se puede crear un sistema de indexación extremadamente eficiente. Esta técnica se encuentra actualmente en uso comercial ubicando documentos legales similares en un corpus de documentos de 2,5 millones.