En teoría de la información , la función de entropía binaria , denotada o , se define como la entropía de un proceso de Bernoulli con probabilidad de uno de dos valores. Es un caso especial de, la función de entropía . Matemáticamente, el ensayo de Bernoulli se modela como una variable aleatoria que puede tomar sólo dos valores: 0 y 1, que son mutuamente excluyentes y exhaustivos.
Si , luego y la entropía de (en shannons ) viene dado por
- ,
dónde se toma como 0. Los logaritmos en esta fórmula generalmente se toman (como se muestra en el gráfico) a la base 2. Vea logaritmo binario .
Cuándo , la función de entropía binaria alcanza su valor máximo. Este es el caso de un lanzamiento de moneda imparcial .
se distingue de la función de entropía en que el primero toma un solo número real como parámetro mientras que el segundo toma una distribución o variable aleatoria como parámetro. A veces, la función de entropía binaria también se escribe como. Sin embargo, es diferente y no debe confundirse con la entropía Rényi , que se denota como.
Explicación
En términos de teoría de la información, se considera que la entropía es una medida de la incertidumbre en un mensaje. Para decirlo intuitivamente, supongamos. Con esta probabilidad, es seguro que el evento nunca ocurrirá, por lo que no hay incertidumbre en absoluto, lo que lleva a una entropía de 0. Si, el resultado es nuevamente cierto, por lo que la entropía también es 0 aquí. Cuándo, la incertidumbre es máxima; si se hiciera una apuesta justa sobre el resultado en este caso, no se obtendría ninguna ventaja con el conocimiento previo de las probabilidades. En este caso, la entropía es máxima a un valor de 1 bit. Los valores intermedios caen entre estos casos; por ejemplo, si, todavía hay una medida de incertidumbre sobre el resultado, pero aún se puede predecir el resultado correctamente la mayoría de las veces, por lo que la medida de incertidumbre, o entropía, es menos de 1 bit completo.
Derivado
La derivada de la función de entropía binaria se puede expresar como el negativo de la función logit :
- .
Serie de taylor
La serie de Taylor de la función de entropía binaria en una vecindad de 1/2 es
por .
Ver también
Referencias
- MacKay, David JC . Teoría de la información, inferencia y algoritmos de aprendizaje Cambridge: Cambridge University Press, 2003. ISBN 0-521-64298-1