Supongamos un par toma valores en , dónde es la etiqueta de clase de . Esto significa que la distribución condicional de X , dado que la etiqueta Y toma el valor r viene dada por
- por
dónde ""significa" se distribuye como ", y donde denota una distribución de probabilidad.
Un clasificador es una regla que asigna a una observación X = x una suposición o estimación de lo que fue realmente la etiqueta no observada Y = r . En términos teóricos, un clasificador es una función medible, con la interpretación de que C clasifica el punto x a la clase C ( x ). La probabilidad de clasificación errónea, o riesgo , de un clasificador C se define como
El clasificador de Bayes es
En la práctica, como en la mayoría de las estadísticas, las dificultades y sutilezas están asociadas con modelar las distribuciones de probabilidad de manera efectiva; en este caso, . El clasificador de Bayes es un punto de referencia útil en la clasificación estadística .
El exceso de riesgo de un clasificador general. (posiblemente dependiendo de algunos datos de entrenamiento) se define como Por tanto, esta cantidad no negativa es importante para evaluar el rendimiento de diferentes técnicas de clasificación. Se dice que un clasificador es consistente si el exceso de riesgo converge a cero cuando el tamaño del conjunto de datos de entrenamiento tiende a infinito. [2]
La prueba de que el clasificador de Bayes es óptimo y la tasa de error de Bayes es mínima procede de la siguiente manera.
Definir las variables: Riesgo , Riesgo de Bayes , todas las clases posibles a las que se pueden clasificar los puntos . Sea la probabilidad posterior de un punto perteneciente a la clase 1. Definir el clasificadorcomo
Entonces tenemos los siguientes resultados:
(a) , es decir es un clasificador de Bayes,
(b) Para cualquier clasificador , el exceso de riesgo satisface
(C)
Prueba de (a): para cualquier clasificador , tenemos
Darse cuenta de se minimiza tomando ,
Por tanto, el riesgo mínimo posible es el riesgo de Bayes, .
Prueba de (b):
Prueba de (c):
El caso general de que el clasificador de Bayes minimiza el error de clasificación cuando cada elemento puede pertenecer a cualquiera de las n categorías procede con expectativas elevadas de la siguiente manera.
Esto se minimiza clasificando
para cada observación x .