Información mutua

En la teoría de la probabilidad y la teoría de la información , la información mutua ( MI ) de dos variables aleatorias es una medida de la dependencia mutua entre las dos variables. Más específicamente, cuantifica la " cantidad de información " (en unidades como shannons ( bits ), nats o hartleys ) obtenida sobre una variable aleatoria al observar la otra variable aleatoria. El concepto de información mutua está íntimamente ligado al de entropía . de una variable aleatoria, una noción fundamental en la teoría de la información que cuantifica la "cantidad de información" esperada contenida en una variable aleatoria.

No limitado a variables aleatorias de valor real y dependencia lineal como el coeficiente de correlación , MI es más general y determina qué tan diferente es la distribución conjunta del par del producto de las distribuciones marginales de y . MI es el valor esperado de la información mutua puntual (PMI).${\ estilo de visualización (X, Y)}$${\ estilo de visualización X}$${\ estilo de visualización Y}$

La cantidad fue definida y analizada por Claude Shannon en su artículo histórico " Una teoría matemática de la comunicación ", aunque no la llamó "información mutua". Este término fue acuñado posteriormente por Robert Fano . ^[2] La información mutua también se conoce como ganancia de información .

Sea un par de variables aleatorias con valores sobre el espacio . Si su distribución conjunta es y las distribuciones marginales son y , la información mutua se define como${\ estilo de visualización (X, Y)}$${\displaystyle {\mathcal {X}}\times {\mathcal {Y}}}$${\displaystyle P_{(X,Y)}}$${\displaystyle P_{X}}$${\displaystyle P_{Y}}$

${\displaystyle I(X;Y)=D_{\mathrm {KL} }(P_{(X,Y)}\|P_{X}\otimes P_{Y})}$

donde es la divergencia Kullback-Leibler .${\displaystyle D_{\mathrm {KL} }}$

Diagrama de Venn que muestra las relaciones aditivas y sustractivas de varias medidas de información asociadas con variables correlacionadas y . ^[1] El área contenida por ambos círculos es la entropía conjunta . El círculo de la izquierda (rojo y violeta) es la entropía individual , siendo el rojo la entropía condicional . El círculo de la derecha (azul y violeta) es , siendo el azul . El violeta es la información mutua .${\ estilo de visualización X}$${\ estilo de visualización Y}$ ${\ estilo de visualización \ mathrm {H} (X, Y)}$ ${\ estilo de visualización \ mathrm {H} (X)}$ ${\displaystyle \mathrm {H} (X\mid Y)}$${\ estilo de visualización \ mathrm {H} (Y)}$${\displaystyle \mathrm {H} (Y\mid X)}$${\ estilo de visualización \ nombre del operador {I} (X; Y)}$

Las relaciones entre cantidades teóricas de información