En estadística , el coeficiente de incertidumbre , también llamado competencia , coeficiente de entropía o U de Theil , es una medida de asociación nominal . Fue introducido por primera vez por Henri Theil [ cita requerida ] y se basa en el concepto de entropía de la información .
Definición
Supongamos que tenemos muestras de dos variables aleatorias discretas, X y Y . Construyendo la distribución conjunta, P X, Y ( x , y ) , a partir de la cual podemos calcular las distribuciones condicionales , P X | Y ( x | y ) = P X, Y ( x , y ) / P Y ( y ) y P Y | X ( y | x ) = P X, Y ( x , y ) / P X ( x ) , y calculando las distintas entropías, podemos determinar el grado de asociación entre las dos variables.
La entropía de una sola distribución se da como: [1]
mientras que la entropía condicional se da como: [1]
El coeficiente de incertidumbre [2] o competencia [3] se define como:
y nos dice: dado Y , ¿qué fracción de los bits de X podemos predecir? En este caso, podemos pensar que X contiene la información total y que Y permite predecir parte de dicha información.
La expresión anterior deja en claro que el coeficiente de incertidumbre es una información mutua normalizada I (X; Y) . En particular, el coeficiente de incertidumbre varía en [0, 1] cuando I (X; Y)
Tenga en cuenta que el valor de U (¡pero no H !) Es independiente de la base del logaritmo ya que todos los logaritmos son proporcionales.
El coeficiente de incertidumbre es útil para medir la validez de un algoritmo de clasificación estadística y tiene la ventaja sobre medidas de precisión más simples como la precisión y el recuerdo en que no se ve afectado por las fracciones relativas de las diferentes clases, es decir, P ( x ). [4] También tiene la propiedad única de que no penalizará a un algoritmo por predecir las clases incorrectas, siempre que lo haga de manera consistente (es decir, simplemente reorganice las clases). Esto es útil para evaluar algoritmos de agrupación en clústeres, ya que las etiquetas de clúster no suelen tener un orden particular. [3]
Variaciones
El coeficiente de incertidumbre no es simétrica con respecto a las funciones de X y Y . Los roles se pueden invertir y una medida simétrica, por lo tanto, se define como un promedio ponderado entre los dos: [2]
Aunque normalmente se aplica a variables discretas, el coeficiente de incertidumbre puede extenderse a variables continuas [1] mediante la estimación de densidad . [ cita requerida ]
Ver también
Referencias
- ^ a b c Claude E. Shannon; Warren Weaver (1963). La teoría matemática de la comunicación . Prensa de la Universidad de Illinois.
- ^ a b William H. Press; Brian P. Flannery; Saul A. Teukolsky; William T. Vetterling (1992). "14.7.4". Recetas numéricas: el arte de la informática científica (3ª ed.). Prensa de la Universidad de Cambridge. pag. 761.
- ^ a b White, Jim; Steingold, Sam; Fournelle, Connie. "Métricas de rendimiento para algoritmos de detección de grupos" (PDF) . Parámetro desconocido
|conference=
ignorado ( ayuda );Cite journal requiere|journal=
( ayuda ) - ^ Peter, Mills (2011). "Clasificación estadística eficiente de medidas de satélite" (PDF) . Revista Internacional de Percepción Remota . 32 (21): 6109–6132. arXiv : 1202.2194 . doi : 10.1080 / 01431161.2010.507795 . Archivado desde el original (PDF) el 26 de abril de 2012.
enlaces externos
- libagf Incluye software para calcular coeficientes de incertidumbre.