Información de interacción

Diagrama de Venn de medidas teóricas de la información para tres variables x, y y z, representadas por los círculos inferior izquierdo, inferior derecho y superior, respectivamente. La información de interacción está representada por la región gris y es la única que puede ser negativa.

La información de interacción es una generalización de la información mutua para más de dos variables.

Hay muchos nombres para la información de interacción, incluida la cantidad de información , ^[1] correlación de información , ^[2] co-información , ^[3] y simplemente información mutua . ^{[4] La} información de interacción expresa la cantidad de información (redundancia o sinergia) ligada a un conjunto de variables, más allá de la que está presente en cualquier subconjunto de esas variables. A diferencia de la información mutua, la información de interacción puede ser positiva o negativa. Estas funciones, su negatividad y mínimos tienen una interpretación directa en topología algebraica . ^[5]

Definición

La información mutua condicional se puede utilizar para definir inductivamente la información de interacción para cualquier número finito de variables de la siguiente manera:

${\displaystyle I(X_{1};\ldots ;X_{n+1})=I(X_{1};\ldots ;X_{n})-I(X_{1};\ldots ;X_{n}\mid X_{n+1}),}$

dónde

${\displaystyle I(X_{1};\ldots ;X_{n}\mid X_{n+1})=\mathbb {E} _{X_{n+1}}{\big (}I(X_{1};\ldots ;X_{n})\mid X_{n+1}{\big )}.}$

Algunos autores ^[6] definen la información de interacción de manera diferente, intercambiando los dos términos que se restan en la ecuación anterior. Esto tiene el efecto de invertir el signo de un número impar de variables.

Para tres variables , la información de interacción viene dada por${\displaystyle \{X,Y,Z\}}$${\displaystyle I(X;Y;Z)}$

${\displaystyle I(X;Y;Z)=I(X;Y)-I(X;Y\mid Z)}$

donde es la información mutua entre variables y , y es la información mutua condicional entre variables y dado . La información de interacción es simétrica , por lo que no importa a qué variable esté condicionada. Esto es fácil de ver cuando la información de interacción se escribe en términos de entropía y entropía conjunta, de la siguiente manera:${\displaystyle I(X;Y)}$${\displaystyle X}$${\displaystyle Y}$${\displaystyle I(X;Y\mid Z)}$${\displaystyle X}$${\displaystyle Y}$${\displaystyle Z}$

${\displaystyle {\begin{alignedat}{3}I(X;Y;Z)&=&&\;{\bigl (}H(X)+H(Y)+H(Z){\bigr )}\\&&&-{\bigl (}H(X,Y)+H(X,Z)+H(Y,Z){\bigr )}\\&&&+H(X,Y,Z)\end{alignedat}}}$

En general, para el conjunto de variables , la información de interacción se puede escribir de la siguiente forma (compárese con la aproximación de Kirkwood ):${\displaystyle {\mathcal {V}}=\{X_{1},X_{2},\ldots ,X_{n}\}}$

${\displaystyle I({\mathcal {V}})=\sum _{{\mathcal {T}}\subseteq {\mathcal {V}}}(-1)^{\left\vert {\mathcal {T}}\right\vert -1}H({\mathcal {T}})}$

Para tres variables, la información de interacción mide la influencia de una variable en la cantidad de información compartida entre y . Dado que el término puede ser mayor que , la información de interacción puede ser tanto negativa como positiva. Esto sucederá, por ejemplo, cuando y sean independientes pero no condicionalmente independientes dados . La información de interacción positiva indica que la variable inhibe (es decir, explica o explica parte de) la correlación entre y , mientras que la información de interacción negativa indica que la variable facilita o mejora la correlación.${\displaystyle Z}$${\displaystyle X}$${\displaystyle Y}$${\displaystyle I(X;Y\mid Z)}$${\displaystyle I(X;Y)}$${\displaystyle X}$${\displaystyle Y}$${\displaystyle Z}$${\displaystyle Z}$${\displaystyle X}$${\displaystyle Y}$${\displaystyle Z}$

Propiedades

La información de interacción está limitada. En el caso de las tres variables, está acotado por ^[4]

${\displaystyle -\min\{I(X;Y\mid Z),I(Y;Z\mid X),I(X;Z\mid Y)\}\leq I(X;Y;Z)\leq \min\{I(X;Y),I(Y;Z),I(X;Z)\}}$

Si tres variables forman una cadena de Markov , entonces , pero . Por lo tanto${\displaystyle X\to Y\to Z}$${\displaystyle I(X;Z\mid Y)=0}$${\displaystyle I(X;Z)\geq 0}$

${\displaystyle I(X;Y;Z)=I(X;Z)-I(X;Z\mid Y)=I(X;Z)\geq 0.}$

Ejemplos de

Información de interacción positiva

La información de interacción positiva parece mucho más natural que la información de interacción negativa en el sentido de que tales efectos explicativos son típicos de las estructuras de causa común. Por ejemplo, las nubes provocan lluvia y también bloquean el sol; por lo tanto, la correlación entre lluvia y oscuridad se explica en parte por la presencia de nubes . El resultado es información de interacción positiva .${\displaystyle I({\text{rain}};{\text{dark}}\mid {\text{cloud}})<I({\text{rain}};{\text{dark}})}$${\displaystyle I({\text{rain}};{\text{dark}};{\text{cloud}})}$

Información de interacción negativa

El motor de un automóvil puede no arrancar debido a una batería descargada o una bomba de combustible bloqueada. Por lo general, asumimos que la muerte de la batería y el bloqueo de la bomba de combustible son eventos independientes . Pero sabiendo que el automóvil no arranca, si una inspección muestra que la batería está en buen estado, podemos concluir que la bomba de combustible debe estar bloqueada. Por lo tanto , y el resultado es información de interacción negativa.${\displaystyle I({\text{blocked fuel}};{\text{dead battery}})=0}$${\displaystyle I({\text{blocked fuel}};{\text{dead battery}}\mid {\text{engine fails}})>0}$

Dificultad de interpretación

La posible negatividad de la información de interacción puede ser fuente de confusión. ^[3] Muchos autores han tomado la información de interacción cero como una señal de que tres o más variables aleatorias no interactúan, pero esta interpretación es incorrecta. ^[7]

Para ver lo difícil que puede ser la interpretación, considere un conjunto de ocho variables binarias independientes . Aglomere estas variables de la siguiente manera:${\displaystyle \{X_{1},X_{2},X_{3},X_{4},X_{5},X_{6},X_{7},X_{8}\}}$

${\displaystyle {\begin{aligned}Y_{1}&=\{X_{1},X_{2},X_{3},X_{4},X_{5},X_{6},X_{7}\}\\Y_{2}&=\{X_{4},X_{5},X_{6},X_{7}\}\\Y_{3}&=\{X_{5},X_{6},X_{7},X_{8}\}\end{aligned}}}$

Debido a que se superponen entre sí (son redundantes) en las tres variables binarias , esperaríamos que la información de interacción sea igual a bits, lo cual es así. Sin embargo, considere ahora las variables aglomeradas${\displaystyle Y_{i}}$${\displaystyle \{X_{5},X_{6},X_{7}\}}$${\displaystyle I(Y_{1};Y_{2};Y_{3})}$${\displaystyle 3}$

${\displaystyle {\begin{aligned}Y_{1}&=\{X_{1},X_{2},X_{3},X_{4},X_{5},X_{6},X_{7}\}\\Y_{2}&=\{X_{4},X_{5},X_{6},X_{7}\}\\Y_{3}&=\{X_{5},X_{6},X_{7},X_{8}\}\\Y_{4}&=\{X_{7},X_{8}\}\end{aligned}}}$

Estas son las mismas variables que antes con la adición de . Sin embargo, en este caso es realmente igual a bit, lo que indica menos redundancia. Esto es correcto en el sentido de que${\displaystyle Y_{4}=\{X_{7},X_{8}\}}$${\displaystyle I(Y_{1};Y_{2};Y_{3};Y_{4})}$${\displaystyle +1}$

${\displaystyle {\begin{aligned}I(Y_{1};Y_{2};Y_{3};Y_{4})&=I(Y_{1};Y_{2};Y_{3})-I(Y_{1};Y_{2};Y_{3}|Y_{4})\\&=3-2\\&=1\end{aligned}}}$

pero sigue siendo difícil de interpretar.

Usos

• Jakulin y Bratko (2003b) proporcionan un algoritmo de aprendizaje automático que utiliza información de interacción.
• Killian, Kravitz y Gilson (2007) utilizan la expansión de información mutua para extraer estimaciones de entropía de simulaciones moleculares.
• LeVine y Weinstein (2014) utilizan información de interacción y otras medidas de información de N-cuerpos para cuantificar los acoplamientos alostéricos en simulaciones moleculares.
• Moore y col. (2006), Chanda P, Zhang A, Brazeau D, Sucheston L, Freudenheim JL, Ambrosone C, Ramanathan M. (2007) y Chanda P, Sucheston L, Zhang A, Brazeau D, Freudenheim JL, Ambrosone C, Ramanathan M. (2008) demuestran el uso de información de interacción para analizar interacciones gen-gen y gen-ambientales asociadas con enfermedades complejas.
• Pandey y Sarkar (2017) utilizan información de interacción en cosmología para estudiar la influencia de entornos a gran escala en las propiedades de las galaxias.
• Está disponible un paquete de Python para calcular toda la interacción multivariante o información mutua, información mutua condicional, entropías conjuntas, correlaciones totales, distancia de información en un conjunto de datos de n variables. ^[8]

Referencias

1. Ting, Hu Kuo (enero de 1962). "Sobre la cantidad de información" . Teoría de la probabilidad y sus aplicaciones . 7 (4): 439–447. doi : 10.1137 / 1107041 . ISSN  0040-585X .
2. Wolf, David (1 de mayo de 1996). La generalización de la información mutua como información entre un conjunto de variables: la jerarquía de funciones de correlación de información y la estructura de información de los sistemas multiagente (informe técnico). Centro de Investigación Ames de la NASA.
3. Bell, Anthony (2003). La celosía de co-información . 4to Int. Symp. Análisis de componentes independientes y separación ciega de fuentes.
4. Yeung, RW (mayo de 1991). "Una nueva perspectiva sobre las medidas de información de Shannon" . Transacciones IEEE sobre teoría de la información . 37 (3): 466–474. doi : 10.1109 / 18.79902 . ISSN 0018-9448 . 
5. Baudot, Pierre; Bennequin, Daniel (13 de mayo de 2015). "La naturaleza homológica de la entropía" . Entropía . 17 (5): 3253–3318. doi : 10.3390 / e17053253 . ISSN 1099-4300 . 
6. McGill, William J. (junio de 1954). "Transmisión de información multivariante" . Psychometrika . 19 (2): 97-116. doi : 10.1007 / bf02289159 . ISSN 0033-3123 . 
7. Krippendorff, Klaus (agosto de 2009). "Información de interacciones en sistemas complejos" . Revista Internacional de Sistemas Generales . 38 (6): 669–680. doi : 10.1080 / 03081070902993160 . ISSN 0308-1079 . 
8. "InfoTopo: análisis de datos de información topológica. Aprendizaje supervisado y no supervisado estadístico profundo - Intercambio de archivos - Github" . github.com/pierrebaudot/infotopopy/ . Consultado el 26 de septiembre de 2020 .

• Baudot, P .; Bennequin, D. (2015). "La naturaleza homológica de la entropía" (PDF) . Entropía . 17 (5): 1–66. Código Bibliográfico : 2015Entrp..17.3253B . doi : 10.3390 / e17053253 .
• Bell, AJ (2003), La red de co-información [1]
• Fano, RM (1961), Transmisión de información: una teoría estadística de las comunicaciones , MIT Press, Cambridge, MA.
• Garner WR (1962). Incertidumbre y estructura como conceptos psicológicos , JohnWiley & Sons, Nueva York.
• Han, TS (1978). "Medidas de entropía no negativas de correlaciones simétricas multivariadas" . Información y control . 36 (2): 133-156. doi : 10.1016 / s0019-9958 (78) 90275-9 .
• Han, TS (1980). "Múltiples informaciones mutuas y múltiples interacciones en datos de frecuencia" . Información y control . 46 : 26–45. doi : 10.1016 / s0019-9958 (80) 90478-7 .
• Hu Kuo Tin (1962), Sobre la cantidad de información. Teoría Probab. Solicitud, 7 (4), 439-44. PDF
• Jakulin A y Bratko I (2003a). Analizando las dependencias de los atributos, en N Lavra \ quad {c}, D Gamberger, L Todorovski & H Blockeel, eds, Actas de la 7ª Conferencia Europea sobre Principios y Práctica del Descubrimiento del Conocimiento en Bases de Datos , Springer, Cavtat-Dubrovnik, Croacia, págs. 229–240.
• Jakulin A y Bratko I (2003b). Cuantificar y visualizar interacciones de atributos [2] .
• Margolin, A; Wang, K; Califano, A; Nemenman, yo (2010). "Dependencia multivariante e inferencia de redes genéticas". IET Syst Biol . 4 (6): 428–440. arXiv : 1001.1681 . doi : 10.1049 / iet-syb.2010.0009 . PMID  21073241 . S2CID  14280921 .
• McGill, WJ (1954). "Transmisión de información multivariante". Psychometrika . 19 (2): 97-116. doi : 10.1007 / bf02289159 . S2CID  126431489 .
• Moore JH, Gilbert JC, Tsai CT, Chiang FT, Holden T, Barney N, White BC (2006). Un marco computacional flexible para detectar, caracterizar e interpretar patrones estadísticos de epistasis en estudios genéticos de susceptibilidad a enfermedades humanas, Journal of Theoretical Biology 241 , 252-261. [3]
• Nemenman I (2004). Teoría de la información, dependencia multivariante e inferencia de redes genéticas [4] .
• Pearl, J (1988), Razonamiento probabilístico en sistemas inteligentes: redes de inferencia plausible , Morgan Kaufmann, San Mateo, CA.
• Tsujishita, T (1995), "Sobre la triple información mutua", Avances en matemáticas aplicadas 16 , 269 - "274.
• Chanda, P; Zhang, A; Brazeau, D; Sucheston, L; Freudenheim, JL; Ambrosone, C; Ramanathan, M (2007). "Métricas teóricas de la información para visualizar interacciones gen-ambiente" . Revista Estadounidense de Genética Humana . 81 (5): 939–63. doi : 10.1086 / 521878 . PMC  2265645 . PMID  17924337 .
• Chanda, P; Sucheston, L; Zhang, A; Brazeau, D; Freudenheim, JL; Ambrosone, C; Ramanathan, M (2008). "AMBIENCE: un enfoque novedoso y un algoritmo eficiente para identificar asociaciones informativas genéticas y ambientales con fenotipos complejos" . Genética . 180 (2): 1191–210. doi : 10.1534 / genetics.108.088542 . PMC  2567367 . PMID  18780753 .
• Killian, BJ; Kravitz, JY; Gilson, MK (2007). "Extracción de entropía configuracional de simulaciones moleculares a través de una aproximación de expansión" . J. Chem. Phys . 127 (2): 024107. Código Bibliográfico : 2007JChPh.127b4107K . doi : 10.1063 / 1.2746329 . PMC  2707031 . PMID  17640119 .
• LeVine MV, Weinstein H (2014), NbIT: un nuevo análisis basado en la teoría de la información de los mecanismos alostéricos revela los residuos que subyacen a la función en el transportador de leucina LeuT. Biología Computacional PLoS . [5]
• Pandey, Biswajit; Sarkar, Suman (2017). "¿Cuánto sabe una galaxia sobre su entorno a gran escala ?: Una perspectiva teórica de la información". Avisos mensuales de las cartas de la Royal Astronomical Society . 467 (1): L6. arXiv : 1611.00283 . Código Bib : 2017MNRAS.467L ... 6P . doi : 10.1093 / mnrasl / slw250 . S2CID  119095496 .
• https://www3.nd.edu/~jnl/ee80653/Fall2005/tutorials/sunil.pdf
• Yeung RW (1992). Una nueva perspectiva sobre las medidas de información de Shannon. en IEEE Transactions on Information Theory. [6]