Los estimadores promediados de una dependencia ( AODE ) es una técnica de aprendizaje de clasificación probabilística . Fue desarrollado para abordar el problema de la independencia de atributos del popular clasificador ingenuo de Bayes . Con frecuencia desarrolla clasificadores sustancialmente más precisos que los Bayes ingenuos a costa de un modesto aumento en la cantidad de cálculo. [1]
El clasificador AODE
AODE busca estimar la probabilidad de cada clase y dado un conjunto específico de características x 1 , ... x n , P ( y | x 1 , ... x n ). Para ello utiliza la fórmula
dónde denota una estimación de , es la frecuencia con la que aparece el argumento en los datos de muestra y m es la frecuencia mínima especificada por el usuario con la que debe aparecer un término para poder ser utilizado en la suma externa. En la práctica reciente, m generalmente se establece en 1.
Derivación del clasificador AODE
Buscamos estimar P ( y | x 1 , ... x n ). Según la definición de probabilidad condicional
Para cualquier ,
Bajo el supuesto de que x 1 , ... x n son independientes dados y y x i , se sigue que
Esta fórmula define una forma especial de un estimador de dependencia (ODE), una variante del clasificador ingenuo de Bayes que hace el supuesto de independencia anterior que es más débil (y por lo tanto potencialmente menos dañino) que el supuesto de independencia del ingenuo Bayes. En consecuencia, cada EDO debería crear un estimador menos sesgado que el Bayes ingenuo. Sin embargo, debido a que las estimaciones de probabilidad base están condicionadas por dos variables en lugar de una, se forman a partir de menos datos (los ejemplos de entrenamiento que satisfacen ambas variables) y, por lo tanto, es probable que tengan más varianza. AODE reduce esta variación promediando las estimaciones de todas esas EDO.
Características del clasificador AODE
Como Bayes ingenuo, AODE no realiza la selección del modelo y no utiliza parámetros ajustables. Como resultado, tiene poca varianza. Admite el aprendizaje incremental mediante el cual el clasificador se puede actualizar de manera eficiente con información de nuevos ejemplos a medida que estén disponibles. Predice probabilidades de clase en lugar de simplemente predecir una sola clase, lo que permite al usuario determinar la confianza con la que se puede hacer cada clasificación. Su modelo probabilístico puede manejar directamente situaciones en las que faltan algunos datos.
AODE tiene complejidad computacional en tiempo de entrenamiento y en el momento de la clasificación, donde n es el número de características, l es el número de ejemplos de entrenamiento y k es el número de clases. Esto lo hace inviable para su aplicación a datos de alta dimensión. Sin embargo, dentro de esa limitación, es lineal con respecto al número de ejemplos de entrenamiento y, por lo tanto, puede procesar de manera eficiente un gran número de ejemplos de entrenamiento.
Implementaciones
La suite gratuita de aprendizaje automático de Weka incluye una implementación de AODE.
Ver también
Referencias
- ^ Webb, GI, J. Boughton y Z. Wang (2005). "Bayes no tan ingenuo: agregación de estimadores de dependencia única" . Aprendizaje automático , 58 (1), 5–24. doi : 10.1007 / s10994-005-4258-6