Desigualdades en la teoría de la información

---

Las desigualdades son muy importantes en el estudio de la teoría de la información . Hay una serie de contextos diferentes en los que aparecen estas desigualdades.

Considere una tupla de variables aleatorias admitidas finitamente (o como máximo contablemente) en el mismo espacio de probabilidad . Hay 2 ⁿ subconjuntos, para los cuales se pueden calcular las entropías ( juntas ). Por ejemplo, cuando n  = 2, podemos considerar las entropías y . Satisfacen las siguientes desigualdades (que juntas caracterizan el rango de las entropías marginales y conjuntas de dos variables aleatorias):${\ estilo de visualización X_ {1}, X_ {2}, \ puntos, X_ {n}}$${\ estilo de visualización n}$ ${\ estilo de visualización H (X_ {1}),}$ ${\ estilo de visualización H (X_ {2}),}$${\ estilo de visualización H (X_ {1}, X_ {2})}$

De hecho, todos estos pueden expresarse como casos especiales de una sola desigualdad que involucra la información mutua condicional , a saber

donde , y cada uno denota la distribución conjunta de algún subconjunto arbitrario (posiblemente vacío) de nuestra colección de variables aleatorias. Las desigualdades que se pueden derivar como combinaciones lineales de esto se conocen como desigualdades de tipo Shannon .${\ estilo de visualización A}$${\ estilo de visualización B}$${\displaystyle C}$

---