Función de entropía binaria

Entropía de un ensayo de Bernoulli como función de la probabilidad de resultado binario, denominada función de entropía binaria .

En teoría de la información , la función de entropía binaria , denotada o , se define como la entropía de un proceso de Bernoulli con probabilidad de uno de dos valores. Es un caso especial de la función de entropía . Matemáticamente, el ensayo de Bernoulli se modela como una variable aleatoria que puede tomar solo dos valores: 0 y 1, que son mutuamente excluyentes y exhaustivos.${\displaystyle \operatorname {H} (p)}$${\displaystyle \operatorname {H} _{\text{b}}(p)}$ ${\displaystyle p}$${\displaystyle \mathrm {H} (X)}$ ${\displaystyle X}$

Si , entonces y la entropía de (en shannons ) está dada por${\displaystyle \operatorname {Pr} (X=1)=p}$${\displaystyle \operatorname {Pr} (X=0)=1-p}$${\displaystyle X}$

${\displaystyle \operatorname {H} (X)=\operatorname {H} _{\text{b}}(p)=-p\log _{2}p-(1-p)\log _{2}(1-p)}$,

donde se toma como 0. Los logaritmos en esta fórmula generalmente se toman (como se muestra en el gráfico) a la base 2. Consulte el logaritmo binario .${\displaystyle 0\log _{2}0}$

Cuando , la función de entropía binaria alcanza su valor máximo. Este es el caso de un lanzamiento de moneda imparcial .${\displaystyle p={\tfrac {1}{2}}}$

${\displaystyle \operatorname {H} (p)}$se distingue de la función de entropía en que la primera toma un solo número real como parámetro, mientras que la segunda toma una distribución o variable aleatoria como parámetro. A veces, la función de entropía binaria también se escribe como . Sin embargo, es diferente y no debe confundirse con la entropía Rényi , que se denota como .${\displaystyle \mathrm {H} (X)}$${\displaystyle \operatorname {H} _{2}(p)}$${\displaystyle \mathrm {H} _{2}(X)}$

Explicación

En términos de teoría de la información, se considera que la entropía es una medida de la incertidumbre en un mensaje. Para decirlo intuitivamente, supongamos . Con esta probabilidad, es seguro que el evento nunca ocurrirá, por lo que no hay incertidumbre en absoluto, lo que lleva a una entropía de 0. Si , el resultado es nuevamente cierto, la entropía también es 0 aquí. Cuando , la incertidumbre es máxima; si se hiciera una apuesta justa sobre el resultado en este caso, no se obtendría ninguna ventaja con el conocimiento previo de las probabilidades. En este caso, la entropía es máxima a un valor de 1 bit. Los valores intermedios caen entre estos casos; por ejemplo, si${\displaystyle p=0}$${\displaystyle p=1}$${\displaystyle p=1/2}$${\displaystyle p=1/4}$, todavía hay una medida de incertidumbre sobre el resultado, pero aún se puede predecir el resultado correctamente la mayoría de las veces, por lo que la medida de incertidumbre, o entropía, es menos de 1 bit completo.

Derivado

La derivada de la función de entropía binaria se puede expresar como el negativo de la función logit :

${\displaystyle {d \over dp}\operatorname {H} _{\text{b}}(p)=-\operatorname {logit} _{2}(p)=-\log _{2}\left({\frac {p}{1-p}}\right)}$.

Serie de taylor

La serie de Taylor de la función de entropía binaria en una vecindad de 1/2 es

${\displaystyle \operatorname {H} _{\text{b}}(p)=1-{\frac {1}{2\ln 2}}\sum _{n=1}^{\infty }{\frac {(1-2p)^{2n}}{n(2n-1)}}}$

para .${\displaystyle 0\leq p\leq 1}$

Límites

Los siguientes límites son válidos para : ^[1]${\displaystyle 0<p<1}$

${\displaystyle \ln(2)\cdot \log _{2}(p)\cdot \log _{2}(1-p)\leq H_{\text{b}}(p)\leq \log _{2}(p)\cdot \log _{2}(1-p)}$

y

${\displaystyle 4p(1-p)\leq H_{\text{b}}(p)\leq (4p(1-p))^{(1/\ln 4)}}$

donde denota logaritmo natural.${\displaystyle \ln }$

Ver también

• Entropía métrica
• Teoría de la información
• Entropía de la información
• Cantidades de información

Referencias

1. Topsøe, Flemming (2001). "Límites de entropía y divergencia para distribuciones sobre un conjunto de dos elementos" . JIPAM. Revista de desigualdades en matemáticas puras y aplicadas . 2 (2): Papel No. 25, 13 p.-Papel No. 25, 13 p.

Otras lecturas

• MacKay, David JC . Teoría de la información, inferencia y algoritmos de aprendizaje Cambridge: Cambridge University Press, 2003. ISBN 0-521-64298-1