En teoría de la información , la entropía de Rényi generaliza la entropía de Hartley , la entropía de Shannon , la entropía de colisión y la min-entropía . Las entropías cuantifican la diversidad, la incertidumbre o la aleatoriedad de un sistema. La entropía lleva el nombre de Alfréd Rényi . [1] En el contexto de la estimación de la dimensión fractal , la entropía de Rényi forma la base del concepto de dimensiones generalizadas .
La entropía de Rényi es importante en ecología y estadística como índice de diversidad . La entropía de Rényi también es importante en la información cuántica , donde se puede utilizar como medida de entrelazamiento . En el modelo de cadena de espín de Heisenberg XY, la entropía de Rényi como función de α se puede calcular explícitamente en virtud del hecho de que es una función automórfica con respecto a un subgrupo particular del grupo modular . [2] [3] En informática teórica , la minientropía se utiliza en el contexto de extractores aleatorios .
Definición
La entropía de orden de Rényi , dónde y , Se define como
- . [1]
Aquí, es una variable aleatoria discreta con posibles resultados en el conjunto y probabilidades correspondientes por . El logaritmo se toma convencionalmente como base 2, especialmente en el contexto de la teoría de la información donde se utilizan bits . Si las probabilidades son para todos , entonces todas las entropías de Rényi de la distribución son iguales: . En general, para todas las variables aleatorias discretas, es una función no creciente en .
Las aplicaciones a menudo explotan la siguiente relación entre la entropía de Rényi y la p -norm del vector de probabilidades:
- .
Aquí, la distribución de probabilidad discreta se interpreta como un vector en con y .
La entropía de Rényi para cualquier es cóncavo de Schur .
Casos especiales
A medida que α se acerca a cero, la entropía de Rényi pesa cada vez más todos los eventos con probabilidad distinta de cero de manera más equitativa, independientemente de sus probabilidades. En el límite para alpha → 0, la entropía Rényi es sólo el logaritmo del tamaño de la ayuda de X . El límite para α → 1 es la entropía de Shannon . A medida que α se acerca al infinito, la entropía de Rényi está cada vez más determinada por los eventos de mayor probabilidad.
Hartley o máxima entropía
Siempre que las probabilidades sean distintas de cero, [4] es el logaritmo de la cardinalidad del alfabeto () de , a veces llamada la entropía de Hartley de,
Entropía de Shannon
El valor límite de ya que α → 1 es la entropía de Shannon : [5]
Entropía de colisión
La entropía de colisión , a veces simplemente llamada "entropía de Rényi", se refiere al caso α = 2,
donde X e Y son independientes e idénticamente distribuidos . La entropía de colisión está relacionada con el índice de coincidencia .
Min-entropía
En el limite como , la entropía de Rényi converge a la min-entropía :
De manera equivalente, la min-entropía es el mayor número real b tal que todos los eventos ocurren con probabilidad como máximo.
El nombre min-entropía proviene del hecho de que es la medida de entropía más pequeña en la familia de entropías de Rényi. En este sentido, es la forma más sólida de medir el contenido de información de una variable aleatoria discreta. En particular, la min-entropía nunca es mayor que la entropía de Shannon .
La minientropía tiene aplicaciones importantes para los extractores de aleatoriedad en la informática teórica : los extractores pueden extraer aleatoriedad de fuentes aleatorias que tienen una minientropía grande; el mero hecho de tener una gran entropía de Shannon no es suficiente para esta tarea.
Desigualdades entre diferentes valores de α
Que no aumenta en para cualquier distribución de probabilidades dada , que puede probarse por diferenciación, [6] como
que es proporcional a la divergencia de Kullback-Leibler (que siempre es no negativa), donde.
En casos particulares, las desigualdades también pueden probarse mediante la desigualdad de Jensen : [7] [8]
Para valores de , las desigualdades en la otra dirección también se mantienen. En particular, tenemos [9] [ cita requerida ]
Por otro lado, la entropía de Shannon puede ser arbitrariamente alto para una variable aleatoria que tiene una min-entropía determinada. [ cita requerida ]
Divergencia Rényi
Además de las entropías absolutas de Rényi, Rényi también definió un espectro de medidas de divergencia generalizando la divergencia Kullback-Leibler . [10]
La divergencia de Rényi de orden α o alfa-divergencia de una distribución P de una distribución Q se define como
cuando 0 < α <∞ y α ≠ 1 . Podemos definir la divergencia de Rényi para los valores especiales α = 0, 1, ∞ tomando un límite, y en particular el límite α → 1 da la divergencia de Kullback-Leibler.
Algunos casos especiales:
- : menos la probabilidad logarítmica bajo Q de que p i > 0 ;
- : menos el doble del logaritmo del coeficiente de Bhattacharyya ; ( Nielsen y Boltz (2010) )
- : la divergencia Kullback-Leibler ;
- : el logaritmo de la razón esperada de las probabilidades;
- : el logaritmo de la razón máxima de probabilidades.
La divergencia Rényi es de hecho una divergencia , lo que significa simplemente quees mayor que o igual a cero, y cero sólo cuando P = Q . Para cualquier distribución fija P y Q , la divergencia de Rényi no es decreciente en función de su orden α , y es continua en el conjunto de α para el cual es finita. [10]
Interpretación financiera
Un par de distribuciones de probabilidad puede verse como un juego de azar en el que una de las distribuciones define las probabilidades oficiales y la otra contiene las probabilidades reales. El conocimiento de las probabilidades reales permite que un jugador se beneficie del juego. La tasa de beneficio prevista está relacionada con la divergencia de Rényi de la siguiente manera [11]
dónde es la distribución que define las probabilidades oficiales (es decir, el "mercado") del juego, es la distribución creída por el inversor y es la aversión al riesgo del inversor (la aversión relativa al riesgo de Arrow-Pratt).
Si la verdadera distribución es (no necesariamente coincidiendo con la creencia del inversor ), la tasa realizada a largo plazo converge con la expectativa real, que tiene una estructura matemática similar [12]
Por qué α = 1 es especial
El valor α = 1 , que da la entropía de Shannon y la divergencia de Kullback-Leibler , es especial porque solo en α = 1 se cumple exactamente la regla de la cadena de probabilidad condicional :
para las entropías absolutas, y
para las entropías relativas.
Esto último en particular significa que si buscamos una distribución p ( x , a ) que minimice la divergencia de alguna medida previa subyacente m ( x , a ) , y adquirimos nueva información que solo afecta la distribución de a , entonces la distribución de p ( x | a ) permanece m ( x | a ) , sin cambios.
Las otras divergencias de Rényi satisfacen el criterio de ser positivo y continuo; ser invariante bajo transformaciones de coordenadas 1 a 1; y de combinar aditivamente cuando A y X son independientes, de modo que si p ( A , X ) = p ( A ) p ( X ) , entonces
y
Las propiedades más fuertes de las cantidades α = 1 , que permiten la definición de información condicional e información mutua de la teoría de la comunicación, pueden ser muy importantes en otras aplicaciones, o totalmente insignificantes, dependiendo de los requisitos de esas aplicaciones.
Familias exponenciales
Las entropías y divergencias de Rényi para una familia exponencial admiten expresiones simples [13]
y
dónde
es una divergencia de diferencias de Jensen.
Significado físico
La entropía de Rényi en física cuántica no se considera observable , debido a su dependencia no lineal de la matriz de densidad. (Esta dependencia no lineal se aplica incluso en el caso especial de la entropía de Shannon). Sin embargo, se le puede dar un significado operativo a través de las mediciones de dos tiempos (también conocidas como estadísticas de conteo completo) de las transferencias de energía.
El límite de la entropía de Rényi como es la entropía de von Neumann .
Ver también
- Índices de diversidad
- Entropía de Tsallis
- Índice de entropía generalizado
Notas
- ↑ a b Rényi (1961)
- ↑ Franchini, Its y Korepin (2008)
- ^ Su y Korepin (2010)
- ^ RFC 4086, página 6
- ^ Bromiley, Thacker y Bouhova-Thacker (2004)
- ^ Beck y Schlögl (1993)
- ^ aguanta porque .
- ^ aguanta porque .
- ^ aguanta porque
- ^ a b Van Erven, Tim; Harremoës, Peter (2014). "Rényi Divergence y Kullback-Leibler Divergence". Transacciones IEEE sobre teoría de la información . 60 (7): 3797–3820. arXiv : 1206.2459 . doi : 10.1109 / TIT.2014.2320500 . S2CID 17522805 .
- ↑ Soklakov (2018)
- ↑ Soklakov (2018)
- ^ Nielsen y Nock (2011)
Referencias
- Beck, Christian; Schlögl, Friedrich (1993). Termodinámica de sistemas caóticos: una introducción . Prensa de la Universidad de Cambridge. ISBN 0521433673.
- Jizba, P .; Arimitsu, T. (2004). "El mundo según Rényi: Termodinámica de sistemas multifractales". Annals of Physics . 312 (1): 17–59. arXiv : cond-mat / 0207707 . Código bibliográfico : 2004AnPhy.312 ... 17J . doi : 10.1016 / j.aop.2004.01.002 . S2CID 119704502 .
- Jizba, P .; Arimitsu, T. (2004). "Sobre la observabilidad de la entropía de Rényi". Revisión E física . 69 (2): 026128. arXiv : cond-mat / 0307698 . Código Bibliográfico : 2004PhRvE..69b6128J . doi : 10.1103 / PhysRevE.69.026128 . PMID 14995541 . S2CID 39231939 .
- Bromiley, PA; Thacker, NA; Bouhova-Thacker, E. (2004), Entropía de Shannon, Entropía de Rényi e información , CiteSeerX 10.1.1.330.9856
- Franchini, F .; Su, AR; Korepin, VE (2008). "La entropía de Rényi como una medida de entrelazamiento en la cadena de espín cuántico". Revista de Física A: Matemática y Teórica . 41 (25302): 025302. arXiv : 0707.2534 . Código Bibliográfico : 2008JPhA ... 41b5302F . doi : 10.1088 / 1751-8113 / 41/2/025302 . S2CID 119672750 .
- "Prueba de Rényi" , Enciclopedia de Matemáticas , EMS Press , 2001 [1994]
- Hero, AO; Michael, O .; Gorman, J. (2002). "Alfa-divergencias para clasificación, indexación y recuperación" (PDF) . CiteSeerX 10.1.1.373.2763 . Cite journal requiere
|journal=
( ayuda ) - Su, AR; Korepin, VE (2010). "Entropía generalizada de la cadena de espín de Heisenberg". Física Teórica y Matemática . 164 (3): 1136-1139. Código Bibliográfico : 2010TMP ... 164.1136I . doi : 10.1007 / s11232-010-0091-6 . S2CID 119525704 .
- Nielsen, F .; Boltz, S. (2010). "Los centroides de Burbea-Rao y Bhattacharyya". Transacciones IEEE sobre teoría de la información . 57 (8): 5455–5466. arXiv : 1004.5049 . doi : 10.1109 / TIT.2011.2159046 . S2CID 14238708 .
- Nielsen, Frank; Nock, Richard (2012). "Una expresión de forma cerrada para la entropía de Sharma-Mittal de familias exponenciales". Journal of Physics A . 45 (3): 032003. arXiv : 1112.4221 . Código bibliográfico : 2012JPhA ... 45c2003N . doi : 10.1088 / 1751-8113 / 45/3/032003 . S2CID 8653096 .
- Nielsen, Frank; Nock, Richard (2011). "Sobre entropías y divergencias de Rényi y Tsallis para familias exponenciales". Journal of Physics A . 45 (3): 032003. arXiv : 1105.3259 . Código bibliográfico : 2012JPhA ... 45c2003N . doi : 10.1088 / 1751-8113 / 45/3/032003 . S2CID 8653096 .
- Rényi, Alfréd (1961). "Sobre medidas de información y entropía" (PDF) . Actas del cuarto Simposio de Berkeley sobre Matemáticas, Estadística y Probabilidad 1960 . págs. 547–561.
- Rosso, OA (2006). "Análisis de EEG utilizando herramientas de información basadas en wavelets". Revista de métodos de neurociencia . 153 (2): 163–182. doi : 10.1016 / j.jneumeth.2005.10.009 . PMID 16675027 . S2CID 7134638 .
- Zachos, CK (2007). "Un límite clásico de la entropía cuántica". Journal of Physics A . 40 (21): F407 – F412. arXiv : hep-th / 0609148 . Código Bibliográfico : 2007JPhA ... 40..407Z . doi : 10.1088 / 1751-8113 / 40/21 / F02 . S2CID 1619604 .
- Nazarov, Y. (2011). "Flujos de entropías de Rényi". Physical Review B . 84 (10): 205437. arXiv : 1108.3537 . Código bibliográfico : 2015PhRvB..91j4303A . doi : 10.1103 / PhysRevB.91.104303 . S2CID 40312624 .CS1 maint: ref duplica el valor predeterminado ( enlace )
- Ansari, Mohammad H .; Nazarov, Yuli V. (2015). "La entropía de Rényi fluye de los motores térmicos cuánticos". Physical Review B . 91 (10): 104303. arXiv : 1408.3910 . Código bibliográfico : 2015PhRvB..91j4303A . doi : 10.1103 / PhysRevB.91.104303 . S2CID 40312624 .
- Ansari, Mohammad H .; Nazarov, Yuli V. (2015). "Correspondencia exacta entre los flujos de entropía de Rényi y los flujos físicos". Physical Review B . 91 (17): 174307. arXiv : 1502.08020 . Código bibliográfico : 2015PhRvB..91q4307A . doi : 10.1103 / PhysRevB.91.174307 . S2CID 36847902 .
- Soklakov, AN (2020). "Economía del desacuerdo: intuición financiera para la divergencia de Rényi" . Entropía . 22 (8): 860. arXiv : 1811.08308 . doi : 10.3390 / e22080860 . PMC 7517462 . PMID 33286632 .
- Ansari, Mohammad H .; van Steensel, Alwin; Nazarov, Yuli V. (2019). "La producción de entropía en Quantum es diferente". Entropía . 21 (9): 854. arXiv : 1907.09241 . doi : 10.3390 / e21090854 . S2CID 198148019 .