En la teoría de la información , la entropía condicional cuantifica la cantidad de información necesaria para describir el resultado de una variable aleatoria. dado que el valor de otra variable aleatoria es conocida. Aquí, la información se mide en shannons , nats o hartleys . La entropía de condicionado en está escrito como .
Diagrama de Venn que muestra relaciones aditivas y sustractivas diversas
medidas de información asociadas con variables correlacionadas
y
. El área contenida por ambos círculos es la
entropía conjunta. El círculo de la izquierda (rojo y violeta) es la
entropía individual, siendo el rojo la
entropía condicional. El círculo de la derecha (azul y violeta) es
, con el ser azul
. La violeta es la
información mutua..
La entropía condicional de dado Se define como
| | ( Ecuación 1 ) |
dónde y denotar los conjuntos de soporte de y .
Nota: está convenido que las expresiones y para fijo debe tratarse como igual a cero. Esto es porque y [1]
Explicación intuitiva de la definición: Según la definición, dónde asociados a el contenido de información de dado , que es la cantidad de información necesaria para describir el evento dado . Según la ley de los grandes números, es la media aritmética de un gran número de realizaciones independientes de .
Dejar ser la entropía de la variable aleatoria discreta condicionado a la variable aleatoria discreta tomando un cierto valor . Denote los conjuntos de soporte de y por y . Dejartiene función de masa de probabilidad . La entropía incondicional de se calcula como , es decir
dónde es el contenido de información del resultado de tomando el valor . La entropía de condicionado en tomando el valor se define de forma análoga por la expectativa condicional :
Tenga en cuenta que es el resultado de promediar sobre todos los valores posibles que puede tomar. Además, si la suma anterior se toma sobre una muestra, el valor esperado se conoce en algunos dominios como equívoco . [2]
Dadas variables aleatorias discretas con imagen y con imagen , la entropía condicional de dado se define como la suma ponderada de para cada valor posible de , utilizando como los pesos: [3] : 15
La entropía condicional es igual a cero
si y solo si el valor de está completamente determinado por el valor de .
Entropía condicional de variables aleatorias independientes
En cambio, si y solo si y son variables aleatorias independientes .
Cadena de reglas
Suponga que el sistema combinado determinado por dos variables aleatorias y tiene entropía conjunta , es decir, necesitamos bits de información en promedio para describir su estado exacto. Ahora bien, si primero aprendemos el valor de, hemos ganado bits de información. Una vez es conocido, solo necesitamos bits para describir el estado de todo el sistema. Esta cantidad es exactamente, que da la regla de la cadena de entropía condicional:
- [3] : 17
La regla de la cadena se deriva de la definición anterior de entropía condicional:
En general, una regla de cadena para múltiples variables aleatorias se cumple:
- [3] : 22
Tiene una forma similar a la regla de la cadena en la teoría de la probabilidad, excepto que se usa la suma en lugar de la multiplicación.
Regla de Bayes
Regla de Bayes para estados de entropía condicionales
Prueba. y . La simetría implica. Restar las dos ecuaciones implica la regla de Bayes.
Si es condicionalmente independiente de dado tenemos:
Otras propiedades
Para cualquier y :
dónde es la información mutua entre y .
Para independiente y :
- y
Aunque la entropía condicional específica puede ser menor o mayor que para una variable aleatoria dada de , nunca puede exceder .
Definición
La definición anterior es para variables aleatorias discretas. La versión continua de la entropía condicional discreta se llama entropía diferencial condicional (o continua) . Dejar y ser variables aleatorias continuas con una función de densidad de probabilidad conjunta . La entropía condicional diferencialse define como [3] : 249
| | ( Ecuación 2 ) |
Propiedades
En contraste con la entropía condicional para variables aleatorias discretas, la entropía diferencial condicional puede ser negativa.
Como en el caso discreto, existe una regla de cadena para la entropía diferencial:
- [3] : 253
Sin embargo, observe que esta regla puede no ser cierta si las entropías diferenciales involucradas no existen o son infinitas.
La entropía diferencial conjunta también se utiliza en la definición de la información mutua entre variables aleatorias continuas:
con igualdad si y solo si y son independientes. [3] : 253
Relación con el error del estimador
La entropía diferencial condicional produce un límite inferior en el error al cuadrado esperado de un estimador . Para cualquier variable aleatoria, observación y estimador lo siguiente es válido: [3] : 255
Esto está relacionado con el principio de incertidumbre de la mecánica cuántica .
En la teoría de la información cuántica , la entropía condicional se generaliza a la entropía cuántica condicional . Este último puede tomar valores negativos, a diferencia de su contraparte clásica.