La agrupación conceptual es un paradigma de aprendizaje automático para la clasificación no supervisada que ha sido definido por Ryszard S. Michalski en 1980 (Fisher 1987, Michalski 1980) y desarrollado principalmente durante la década de 1980. Se distingue del agrupamiento de datos ordinario al generar una descripción del concepto para cada clase generada. La mayoría de los métodos de agrupamiento conceptual son capaces de generar estructuras de categorías jerárquicas; consulte Categorización para obtener más información sobre la jerarquía. La agrupación conceptual está estrechamente relacionada con el análisis de conceptos formales , el aprendizaje del árbol de decisiones y el aprendizaje de modelos mixtos.
Agrupación conceptual frente a agrupación de datos
La agrupación conceptual está obviamente estrechamente relacionada con la agrupación de datos; sin embargo, en la agrupación conceptual, no es solo la estructura inherente de los datos la que impulsa la formación de la agrupación, sino también el lenguaje de descripción que está disponible para el alumno. Por lo tanto, es posible que el alumno no pueda extraer una agrupación estadísticamente sólida de los datos si el lenguaje de descripción de conceptos predominante es incapaz de describir esa regularidad particular . En la mayoría de las implementaciones, el lenguaje de descripción se ha limitado a la conjunción de características , aunque en COBWEB (ver " COBWEB " a continuación), el lenguaje de características es probabilístico .
Lista de algoritmos publicados
Se ha propuesto un buen número de algoritmos para la agrupación conceptual. A continuación se dan algunos ejemplos:
- CLUSTER / 2 (Michalski y Stepp 1983)
- COBWEB (Fisher 1987)
- CYRUS (Kolodner 1983)
- GALOIS (Carpineto y Romano 1993),
- GCF (Talavera y Béjar 2001)
- INC (Hadzikadic y Yun 1989)
- ITERATE (Biswas, Weinberg y Fisher 1998),
- LABERINTO (Thompson y Langley 1989)
- SUBDUE (Jonyer, Cook & Holder 2001).
- UNIMEM (Lebowitz 1987)
- WITT (Hanson y Bauer 1989),
Se pueden encontrar discusiones y revisiones más generales sobre la agrupación conceptual en las siguientes publicaciones:
- Michalski (1980)
- Gennari, Langley y Fisher (1989)
- Fisher y Pazzani (1991)
- Fisher y Langley (1986)
- Stepp y Michalski (1986)
Ejemplo: un algoritmo de agrupamiento conceptual básico
Esta sección analiza los rudimentos del algoritmo de agrupamiento conceptual COBWEB. Hay muchos otros algoritmos que utilizan diferentes heurísticas y " bondad de categoría " o criterios de evaluación de categoría, pero COBWEB es uno de los más conocidos. Se remite al lector a la bibliografía para conocer otros métodos.
Representación del conocimiento
La estructura de datos COBWEB es una jerarquía (árbol) en la que cada nodo representa un concepto dado . Cada concepto representa un conjunto (en realidad, un conjunto múltiple o una bolsa) de objetos, cada objeto se representa como una lista de propiedades con valores binarios. Los datos asociados con cada nodo del árbol (es decir, concepto) son los recuentos de propiedades enteras para los objetos en ese concepto. Por ejemplo, (ver figura), deje que un concepto contienen los siguientes cuatro objetos (se permiten objetos repetidos).
[1 0 1]
[0 1 1]
[0 1 0]
[0 1 1]
Las tres propiedades podrían ser, por ejemplo [is_male, has_wings, is_nocturnal]
,. Entonces, lo que se almacena en este nodo de concepto es el recuento de propiedades [1 3 3]
, lo que indica que 1 de los objetos del concepto es masculino, 3 de los objetos tienen alas y 3 de los objetos son nocturnos. La descripción del concepto es la probabilidad condicional de categoría (verosimilitud) de las propiedades en el nodo. Así, dado que un objeto es miembro de una categoría (concepto), la probabilidad de que sea hombre es . Asimismo, la probabilidad de que el objeto tenga alas y la probabilidad de que el objeto sea nocturno o ambos es. Por lo tanto, la descripción del concepto se puede dar simplemente como [.25 .75 .75]
, que corresponde a la-probabilidad de característica condicional, es decir, .
La figura de la derecha muestra un árbol de conceptos con cinco conceptos. es el concepto raíz, que contiene los diez objetos del conjunto de datos. Conceptos y son los hijos de , el primero contiene cuatro objetos y el último contiene seis objetos. Concepto también es el padre de los conceptos , , y , que contienen tres, dos y un objeto, respectivamente. Tenga en cuenta que cada nodo principal (concepto superior relativo) contiene todos los objetos contenidos por sus nodos secundarios (conceptos subordinados relativos). En la descripción de Fisher (1987) de COBWEB, indica que sólo los recuentos de atributos totales (no probabilidades condicionales, ni listas de objetos) se almacenan en los nodos. Las probabilidades se calculan a partir de los recuentos de atributos según sea necesario.
El lenguaje COBWEB
El lenguaje descriptivo de COBWEB es un "lenguaje" sólo en un sentido vago, porque al ser completamente probabilístico es capaz de describir cualquier concepto. Sin embargo, si se imponen restricciones a los rangos de probabilidad que pueden representar los conceptos, se obtiene un lenguaje más sólido. Por ejemplo, podríamos permitir solo conceptos en los que al menos una probabilidad difiera de 0.5 en más de. Bajo esta restricción, con, un concepto como el que [.6 .5 .7]
no podría ser construido por el alumno; sin embargo, un concepto como el que [.6 .5 .9]
sería accesible porque al menos una probabilidad difiere de 0.5 en más de. Así, bajo restricciones como estas, obtenemos algo así como un lenguaje conceptual tradicional. En el caso límite dondepara cada característica, y por lo tanto cada probabilidad en un concepto debe ser 0 o 1, el resultado es un lenguaje de características basado en la conjunción; es decir, cada concepto que se puede representar puede describirse como una conjunción de características (y sus negaciones), y los conceptos que no se pueden describir de esta manera no se pueden representar.
Criterio de evaluación
En la descripción de Fisher (1987) de COBWEB, la medida que utiliza para evaluar la calidad de la jerarquía es la medida de utilidad de categoría (CU) de Gluck y Corter (1985) , que vuelve a derivar en su artículo. La motivación de la medida es muy similar a la medida de " ganancia de información " introducida por Quinlan para el aprendizaje del árbol de decisiones. Se ha demostrado previamente que la CU para la clasificación basada en características es la misma que la información mutua entre las variables de características y la variable de clase (Gluck y Corter, 1985; Corter y Gluck, 1992), y dado que esta medida es mucho más conocida , procedemos aquí con la información mutua como medida de la categoría "bondad".
Lo que deseamos evaluar es la utilidad general de agrupar los objetos en una estructura de categorización jerárquica particular. Dado un conjunto de posibles estructuras de clasificación, necesitamos determinar si una es mejor que otra.
Referencias
- Biswas, G .; Weinberg, JB; Fisher, Douglas H. (1998). "Iterar: un algoritmo de agrupación conceptual para la minería de datos". Transacciones IEEE sobre sistemas, hombre y cibernética - Parte C: Aplicaciones y revisiones . 28 (2): 100-111. doi : 10.1109 / 5326.669556 .
- Carpineto, C .; Romano, G. (1993). "Galois: un enfoque teórico de orden a la agrupación conceptual" . Actas de la décima conferencia internacional sobre aprendizaje automático, Amherst . págs. 33–40.
- Fisher, Douglas H. (1987). "Adquisición de conocimiento mediante agrupamiento conceptual incremental" (PDF) . Aprendizaje automático . 2 (2): 139-172. doi : 10.1007 / BF00114265 .
- Fisher, Douglas H. (1996). "Optimización iterativa y simplificación de agrupaciones jerárquicas". Revista de Investigación en Inteligencia Artificial . 4 : 147-178. arXiv : cs / 9604103 . Código Bibliográfico : 1996cs ........ 4103F . doi : 10.1613 / jair.276 . S2CID 9841360 .
- Fisher, Douglas H .; Langley, Patrick W. (1986). "Agrupación conceptual y su relación con la taxonomía numérica" . En Gale, WA (ed.). Inteligencia artificial y estadística . Reading, MA: Addison-Wesley. págs. 77-116.
- Fisher, Douglas H .; Pazzani, Michael J. (1991). "Modelos computacionales de aprendizaje de conceptos" . En Fisher, DH; Pazzani, MJ; Langley, P. (eds.). Formación de conceptos: conocimiento y experiencia en el aprendizaje no supervisado . San Mateo, CA: Morgan Kaufmann. págs. 3-43.
- Gennari, John H .; Langley, Patrick W .; Fisher, Douglas H. (1989). "Modelos de formación de conceptos incrementales" . Inteligencia artificial . 40 (1-3): 11-61. doi : 10.1016 / 0004-3702 (89) 90046-5 .
- Hanson, SJ; Bauer, M. (1989). "Agrupación conceptual, categorización y polimorfia" . Aprendizaje automático . 3 (4): 343–372. doi : 10.1007 / BF00116838 .
- Jonyer, I .; Cook, DJ; Titular, LB (2001). "Agrupación conceptual jerárquica basada en gráficos". Revista de investigación sobre aprendizaje automático . 2 : 19–43. doi : 10.1162 / 153244302760185234 .
- Lebowitz, M. (1987). "Experimentos con formación de conceptos incrementales" . Aprendizaje automático . 2 (2): 103–138. doi : 10.1007 / BF00114264 .
- Michalski, RS (1980). "Adquisición de conocimiento mediante agrupamiento conceptual: un marco teórico y un algoritmo para la partición de datos en conceptos conjuntivos". Revista Internacional de Análisis de Políticas y Sistemas de Información . 4 : 219–244.
- Michalski, RS; Stepp, RE (1983). "Aprendiendo de la observación: agrupamiento conceptual" (PDF) . En Michalski, RS; Carbonell, JG; Mitchell, TM (eds.). Aprendizaje automático: un enfoque de inteligencia artificial . Palo Alto, CA: Tioga. págs. 331–363.
- Stepp, RE; Michalski, RS (1986). "Agrupación conceptual: inventar clasificaciones orientadas a objetivos de objetos estructurados" (PDF) . En Michalski, RS; Carbonell, JG; Mitchell, TM (eds.). Aprendizaje automático: un enfoque de inteligencia artificial . Los Altos, CA: Morgan Kaufmann. págs. 471–498.
- Talavera, L .; Béjar, J. (2001). "Agrupación conceptual basada en la generalidad con conceptos probabilísticos". Transacciones IEEE sobre análisis de patrones e inteligencia de máquinas . 23 (2): 196–206. doi : 10.1109 / 34.908969 .
enlaces externos
- Bibliografía de agrupamiento conceptual
- Implementación de Python de trabajo de COBWEB