Información mutua condicional

Teoría de la información
Entropía Entropía diferencial Entropía condicional Entropía conjunta Información mutua Información mutua condicional Entropía relativa Tasa de entropía Limitar la densidad de puntos discretos
Propiedad de equipartición asintótica Teoría de la distorsión de la tasa
Teorema de codificación de fuente de Shannon Capacidad de canal Teorema de codificación de canal ruidoso Teorema de Shannon-Hartley
v t mi

Diagrama de Venn de medidas teóricas de la información para tres variables , y , representadas por los círculos inferior izquierdo, inferior derecho y superior, respectivamente. Las informaciones condicionales mutuos , y están representados por las, cian y magenta regiones amarillo, respectivamente.${\displaystyle x}$${\displaystyle y}$${\displaystyle z}$${\displaystyle I(x;z|y)}$${\displaystyle I(y;z|x)}$${\displaystyle I(x;y|z)}$

En la teoría de la probabilidad , particularmente en la teoría de la información , la información mutua condicional ^{[1] [2]} es, en su forma más básica, el valor esperado de la información mutua de dos variables aleatorias dado el valor de una tercera.

Definición

Para las variables aleatorias , y con conjuntos de apoyo , y , definimos la información mutua condicional${\displaystyle X}$${\displaystyle Y}$${\displaystyle Z}$ ${\displaystyle {\mathcal {X}}}$${\displaystyle {\mathcal {Y}}}$${\displaystyle {\mathcal {Z}}}$

${\displaystyle I(X;Y|Z)=\int _{\mathcal {Z}}D_{\mathrm {KL} }(P_{(X,Y)|Z}\|P_{X|Z}\otimes P_{Y|Z})dP_{Z}}$

Esto puede ser escrito en términos del operador de esperanza: .${\displaystyle I(X;Y|Z)=\mathbb {E} _{Z}[D_{\mathrm {KL} }(P_{(X,Y)|Z}\|P_{X|Z}\otimes P_{Y|Z})]}$

Por lo tanto, es la divergencia esperada (con respecto a ) de Kullback-Leibler de la distribución conjunta condicional al producto de los marginales condicionales y . Compare con la definición de información mutua .${\displaystyle I(X;Y|Z)}$${\displaystyle Z}$${\displaystyle P_{(X,Y)|Z}}$${\displaystyle P_{X|Z}}$${\displaystyle P_{Y|Z}}$

En términos de PMF para distribuciones discretas

Para discretas variables aleatorias , y con conjuntos de apoyo , y , la información mutua condicional es el siguiente${\displaystyle X}$${\displaystyle Y}$${\displaystyle Z}$ ${\displaystyle {\mathcal {X}}}$${\displaystyle {\mathcal {Y}}}$${\displaystyle {\mathcal {Z}}}$${\displaystyle I(X;Y|Z)}$

${\displaystyle I(X;Y|Z)=\sum _{z\in {\mathcal {Z}}}p_{Z}(z)\sum _{y\in {\mathcal {Y}}}\sum _{x\in {\mathcal {X}}}p_{X,Y|Z}(x,y|z)\log {\frac {p_{X,Y|Z}(x,y|z)}{p_{X|Z}(x|z)p_{Y|Z}(y|z)}}}$

donde las funciones de masa de probabilidad marginal, conjunta y / o condicional se denotan con el subíndice apropiado. Esto se puede simplificar como${\displaystyle p}$

${\displaystyle I(X;Y|Z)=\sum _{z\in {\mathcal {Z}}}\sum _{y\in {\mathcal {Y}}}\sum _{x\in {\mathcal {X}}}p_{X,Y,Z}(x,y,z)\log {\frac {p_{Z}(z)p_{X,Y,Z}(x,y,z)}{p_{X,Z}(x,z)p_{Y,Z}(y,z)}}.}$

En términos de pdf para distribuciones continuas

Para las variables aleatorias (absolutamente) continuas , y con conjuntos de apoyo , y , la información mutua condicional es el siguiente${\displaystyle X}$${\displaystyle Y}$${\displaystyle Z}$ ${\displaystyle {\mathcal {X}}}$${\displaystyle {\mathcal {Y}}}$${\displaystyle {\mathcal {Z}}}$${\displaystyle I(X;Y|Z)}$

${\displaystyle I(X;Y|Z)=\int _{\mathcal {Z}}{\bigg (}\int _{\mathcal {Y}}\int _{\mathcal {X}}\log \left({\frac {p_{X,Y|Z}(x,y|z)}{p_{X|Z}(x|z)p_{Y|Z}(y|z)}}\right)p_{X,Y|Z}(x,y|z)dxdy{\bigg )}p_{Z}(z)dz}$

donde las funciones de densidad de probabilidad marginal, conjunta y / o condicional se indican con el subíndice apropiado. Esto se puede simplificar como${\displaystyle p}$

${\displaystyle I(X;Y|Z)=\int _{\mathcal {Z}}\int _{\mathcal {Y}}\int _{\mathcal {X}}\log \left({\frac {p_{Z}(z)p_{X,Y,Z}(x,y,z)}{p_{X,Z}(x,z)p_{Y,Z}(y,z)}}\right)p_{X,Y,Z}(x,y,z)dxdydz.}$

Algunas identidades

Alternativamente, podemos escribir en términos de entropías conjuntas y condicionales como ^[3]

${\displaystyle {\begin{aligned}I(X;Y|Z)&=H(X,Z)+H(Y,Z)-H(X,Y,Z)-H(Z)\\&=H(X|Z)-H(X|Y,Z)\\&=H(X|Z)+H(Y|Z)-H(X,Y|Z).\end{aligned}}}$

Esto se puede reescribir para mostrar su relación con la información mutua.

${\displaystyle I(X;Y|Z)=I(X;Y,Z)-I(X;Z)}$

generalmente reorganizado como la regla de la cadena para la información mutua

${\displaystyle I(X;Y,Z)=I(X;Z)+I(X;Y|Z)}$

Otra forma equivalente de lo anterior es

${\displaystyle {\begin{aligned}I(X;Y|Z)&=H(Z|X)+H(X)+H(Z|Y)+H(Y)-H(Z|X,Y)-H(X,Y)-H(Z)\\&=I(X;Y)+H(Z|X)+H(Z|Y)-H(Z|X,Y)-H(Z)\end{aligned}}}$

Al igual que la información mutua, la información mutua condicional se puede expresar como una divergencia Kullback-Leibler :

${\displaystyle I(X;Y|Z)=D_{\mathrm {KL} }[p(X,Y,Z)\|p(X|Z)p(Y|Z)p(Z)].}$

O como un valor esperado de divergencias Kullback-Leibler más simples:

${\displaystyle I(X;Y|Z)=\sum _{z\in {\mathcal {Z}}}p(Z=z)D_{\mathrm {KL} }[p(X,Y|z)\|p(X|z)p(Y|z)]}$,

${\displaystyle I(X;Y|Z)=\sum _{y\in {\mathcal {Y}}}p(Y=y)D_{\mathrm {KL} }[p(X,Z|y)\|p(X|Z)p(Z|y)]}$.

Definición más general

Una definición más general de información mutua condicional, aplicable a variables aleatorias con distribuciones continuas u otras distribuciones arbitrarias, dependerá del concepto de probabilidad condicional regular . (Ver también. ^{[4] [5]} )

Vamos a ser un espacio de probabilidad , y dejar que las variables aleatorias , y cada uno puede definir como una función de Borel-medibles a partir de un cierto espacio estado dotado de una estructura topológica.${\displaystyle (\Omega ,{\mathcal {F}},{\mathfrak {P}})}$${\displaystyle X}$${\displaystyle Y}$${\displaystyle Z}$${\displaystyle \Omega }$

Considere la medida de Borel (en el σ-álgebra generada por los conjuntos abiertos) en el espacio de estado de cada variable aleatoria definida al asignar a cada conjunto de Borel la medida de su preimagen en . Esto se llama la medida de empuje hacia adelante El soporte de una variable aleatoria se define como el soporte topológico de esta medida, es decir${\displaystyle {\mathfrak {P}}}$${\displaystyle {\mathcal {F}}}$ ${\displaystyle X_{*}{\mathfrak {P}}={\mathfrak {P}}{\big (}X^{-1}(\cdot ){\big )}.}$${\displaystyle \mathrm {supp} \,X=\mathrm {supp} \,X_{*}{\mathfrak {P}}.}$

Ahora podemos definir formalmente la medida de probabilidad condicional dado el valor de una (o, a través de la topología del producto , más) de las variables aleatorias. Sea un subconjunto medible de (ie ) y sea Then, usando el teorema de la desintegración :${\displaystyle M}$${\displaystyle \Omega ,}$${\displaystyle M\in {\mathcal {F}},}$${\displaystyle x\in \mathrm {supp} \,X.}$

${\displaystyle {\mathfrak {P}}(M|X=x)=\lim _{U\ni x}{\frac {{\mathfrak {P}}(M\cap \{X\in U\})}{{\mathfrak {P}}(\{X\in U\})}}\qquad {\textrm {and}}\qquad {\mathfrak {P}}(M|X)=\int _{M}d{\mathfrak {P}}{\big (}\omega |X=X(\omega ){\big )},}$

donde el límite se toma sobre los vecindarios abiertos de , ya que se les permite volverse arbitrariamente más pequeños con respecto a la inclusión de conjuntos .${\displaystyle U}$${\displaystyle x}$

Finalmente podemos definir la información mutua condicional a través de la integración de Lebesgue :

${\displaystyle I(X;Y|Z)=\int _{\Omega }\log {\Bigl (}{\frac {d{\mathfrak {P}}(\omega |X,Z)\,d{\mathfrak {P}}(\omega |Y,Z)}{d{\mathfrak {P}}(\omega |Z)\,d{\mathfrak {P}}(\omega |X,Y,Z)}}{\Bigr )}d{\mathfrak {P}}(\omega ),}$

donde el integrando es el logaritmo de una derivada de Radon-Nikodym que involucra algunas de las medidas de probabilidad condicional que acabamos de definir.

Nota sobre la notación

En una expresión como y no es necesario limitarse a representar variables aleatorias individuales, sino que también podría representar la distribución conjunta de cualquier colección de variables aleatorias definidas en el mismo espacio de probabilidad . Como es común en la teoría de la probabilidad , podemos usar la coma para denotar tal distribución conjunta, por ejemplo, de ahí el uso del punto y coma (u ocasionalmente dos puntos o incluso una cuña ) para separar los argumentos principales del símbolo de información mutua. (No es necesaria tal distinción en el símbolo de la entropía conjunta , ya que la entropía conjunta de cualquier número de variables aleatorias es la misma que la entropía de su distribución conjunta).${\displaystyle I(A;B|C),}$ ${\displaystyle A,}$ ${\displaystyle B,}$${\displaystyle C}$${\displaystyle I(A_{0},A_{1};B_{1},B_{2},B_{3}|C_{0},C_{1}).}$${\displaystyle \wedge }$

Propiedades

No negatividad

Siempre es cierto que

${\displaystyle I(X;Y|Z)\geq 0}$,

para variables aleatorias discretas, distribuidas conjuntamente , y . Este resultado se ha utilizado como un bloque de construcción básico para probar otras desigualdades en la teoría de la información , en particular, las conocidas como desigualdades de tipo Shannon. La información mutua condicional tampoco es negativa para las variables aleatorias continuas bajo ciertas condiciones de regularidad. ^[6]${\displaystyle X}$${\displaystyle Y}$${\displaystyle Z}$

Información de interacción

El condicionamiento de una tercera variable aleatoria puede aumentar o disminuir la información mutua: es decir, la diferencia , llamada información de interacción , puede ser positiva, negativa o cero. Este es el caso incluso cuando las variables aleatorias son independientes por pares. Tal es el caso cuando:${\displaystyle I(X;Y)-I(X;Y|Z)}$

$${\displaystyle X\sim \mathrm {Bernoulli} (0.5),Z\sim \mathrm {Bernoulli} (0.5),\quad Y=\left\{{\begin{array}{ll}X&{\text{if }}Z=0\\1-X&{\text{if }}Z=1\end{array}}\right.}$$

en cuyo caso , y son independientes por pares y, en particular , pero${\displaystyle X}$${\displaystyle Y}$${\displaystyle Z}$${\displaystyle I(X;Y)=0}$${\displaystyle I(X;Y|Z)=1.}$

Regla de cadena para información mutua

${\displaystyle I(X;Y,Z)=I(X;Z)+I(X;Y|Z)}$

Información de interacción

Artículo principal: información de interacción

La información mutua condicional se utiliza para definir inductivamente la información de interacción , una generalización de la información mutua, de la siguiente manera:

${\displaystyle I(X_{1};\ldots ;X_{n+1})=I(X_{1};\ldots ;X_{n})-I(X_{1};\ldots ;X_{n}|X_{n+1}),}$

dónde

${\displaystyle I(X_{1};\ldots ;X_{n}|X_{n+1})=\mathbb {E} _{X_{n+1}}[D_{\mathrm {KL} }(P_{(X_{1},\ldots ,X_{n})|X_{n+1}}\|P_{X_{1}|X_{n+1}}\otimes \cdots \otimes P_{X_{n}|X_{n+1}})].}$

Debido a que la información mutua condicional puede ser mayor o menor que su contraparte incondicional, la información de interacción puede ser positiva, negativa o cero, lo que dificulta su interpretación.

Referencias

1. Wyner, AD (1978). "Una definición de información mutua condicional para conjuntos arbitrarios" . Información y control . 38 (1): 51–59. doi : 10.1016 / s0019-9958 (78) 90026-8 .
2. Dobrushin, RL (1959). "Formulación general del teorema principal de Shannon en la teoría de la información". Uspekhi Mat. Nauk . 14 : 3–104.
3. Portada, Thomas ; Thomas, Joy A. (2006). Elementos de la teoría de la información (2ª ed.). Nueva York: Wiley-Interscience . ISBN 0-471-24195-4.
4. Probabilidad condicional regular en PlanetMath
5. D. Leao, Jr. y col. Probabilidad condicional regular, desintegración de probabilidad y espacios de radón. Proyecciones. Vol. 23, No. 1, págs. 15–29, mayo de 2004, Universidad Católica del Norte, Antofagasta, Chile PDF
6. Polyanskiy, Yury; Wu, Yihong (2017). Apuntes de clase sobre teoría de la información (PDF) . pag. 30.