En estadística y teoría de la información , una distribución de probabilidad de entropía máxima tiene una entropía que es al menos tan grande como la de todos los demás miembros de una clase específica de distribuciones de probabilidad . De acuerdo con el principio de máxima entropía , si no se sabe nada acerca de una distribución excepto que pertenece a una determinada clase (generalmente definida en términos de propiedades o medidas especificadas), entonces la distribución con la mayor entropía debe elegirse como la menos informativa. defecto. La motivación es doble: primero, maximizar la entropía minimiza la cantidad de información previaintegrado en la distribución; en segundo lugar, muchos sistemas físicos tienden a moverse hacia configuraciones de entropía máxima a lo largo del tiempo.
Definición de entropía y entropía diferencial
Si es una variable aleatoria discreta con distribución dada por
entonces la entropía de Se define como
Si es una variable aleatoria continua con densidad de probabilidad , entonces la entropía diferencial dese define como [1] [2] [3]
La cantidad se entiende que es cero siempre que .
Este es un caso especial de formas más generales descritas en los artículos Entropía (teoría de la información) , Principio de máxima entropía y entropía diferencial. En relación con las distribuciones de entropía máxima, esta es la única necesaria, porque maximizar también maximizará las formas más generales.
La base del logaritmo no es importante siempre que el mismo se use de manera consistente: el cambio de base simplemente da como resultado un cambio de escala de la entropía. Los teóricos de la información pueden preferir utilizar la base 2 para expresar la entropía en bits ; Los matemáticos y físicos a menudo preferirán el logaritmo natural , lo que da como resultado una unidad de nats para la entropía.
La elección de la medida Sin embargo, es crucial para determinar la entropía y la distribución máxima de entropía resultante, aunque el recurso habitual a la medida de Lebesgue se defiende a menudo como "natural".
Distribuciones con constantes medidas
Muchas distribuciones estadísticas de interés aplicable son aquellas para las que los momentos u otras cantidades mensurables están restringidas a ser constantes. El siguiente teorema de Ludwig Boltzmann da la forma de la densidad de probabilidad bajo estas restricciones.
Caso continuo
Supongamos que S es un subconjunto cerrado de los números reales R y elegimos especificar n funciones medibles f 1 , ..., f n y n números a 1 , ..., a n . Consideramos la clase C de todas las variables aleatorias de valor real que se apoyan en S (es decir, cuya función de densidad es cero fuera de S ) y que satisfacen las n condiciones de momento:
Si hay un miembro en C cuya función de densidad es positiva en todas partes en S , y si existe una distribución de entropía máxima para C , entonces su densidad de probabilidad p ( x ) tiene la siguiente forma:
donde asumimos que . El constantey los multiplicadores de n Lagrange resolver el problema de optimización restringida con (esta condición asegura que se integra a la unidad): [4]
Usando las condiciones de Karush-Kuhn-Tucker , se puede demostrar que el problema de optimización tiene una solución única, porque la función objetivo en la optimización es cóncava en.
Tenga en cuenta que si las condiciones de momento son iguales (en lugar de desigualdades), es decir,
entonces la condición de restricción se elimina, lo que hace que la optimización sobre los multiplicadores de Lagrange sea ilimitada.
Caso discreto
Suponer es un subconjunto discreto (finito o infinito) de los reales y elegimos especificar funciones f 1 , ..., f n y n números a 1 , ..., a n . Consideramos la clase C de todas las variables aleatorias discretas X que se apoyan en S y que cumplen las n condiciones de momento
Si existe un miembro de C que asigna probabilidad positiva a todos los miembros de S y si existe una distribución de entropía máxima para C , entonces esta distribución tiene la siguiente forma:
donde asumimos que y las constantes resolver el problema de optimización restringida con : [5]
Nuevamente, si las condiciones de momento son iguales (en lugar de desigualdades), entonces la condición de restricción no está presente en la optimización.
Prueba en el caso de restricciones de igualdad
En el caso de restricciones de igualdad, este teorema se demuestra con el cálculo de variaciones y multiplicadores de Lagrange . Las restricciones se pueden escribir como
Consideramos lo funcional
dónde y son los multiplicadores de Lagrange. La restricción cero asegura el segundo axioma de probabilidad . Las otras restricciones son que las medidas de la función reciben constantes por orden. La entropía alcanza un extremo cuando la derivada funcional es igual a cero:
Es un ejercicio para el lector [ cita requerida ] que este extremo es de hecho un máximo. Por lo tanto, la distribución de probabilidad de entropía máxima en este caso debe ser de la forma ()
La prueba de la versión discreta es esencialmente la misma.
Unicidad del máximo
Suponer , son distribuciones que satisfacen las limitaciones de expectativas. Dejando y considerando la distribución es claro que esta distribución satisface las expectativas-restricciones y además tiene como soporte . A partir de hechos básicos sobre la entropía, sostiene que. Tomando límites y respectivamente rinde .
De ello se deduce que una distribución que satisfaga las restricciones de expectativas y maximice la entropía debe tener necesariamente un soporte completo, es decir, la distribución es positiva en casi todas partes. De ello se deduce que la distribución maximizadora debe ser un punto interno en el espacio de distribuciones que satisfaga las restricciones de expectativa, es decir, debe ser un extremo local. Por lo tanto, basta con mostrar que el extremo local es único, para mostrar a ambos que la distribución que maximiza la entropía es única (y esto también muestra que el extremo local es el máximo global).
Suponer son extremos locales. Reformulando los cálculos anteriores, estos se caracterizan por parámetros vía y de manera similar para , dónde . Ahora notamos una serie de identidades: a través de la satisfacción de las restricciones de expectativa y la utilización de gradientes / derivadas direccionales, uno tiene y de manera similar para . Dejando Se obtiene:
dónde para algunos . Computando más uno tiene
dónde es similar a la distribución anterior, solo parametrizada por . Suponiendo que ninguna combinación lineal no trivial de los observables es constante en casi todas partes (ae) (lo que, por ejemplo, se cumple si los observables son independientes y no ae constantes), se sostiene que tiene una varianza distinta de cero, a menos que . Por lo tanto, por la ecuación anterior queda claro que este último debe ser el caso. Por eso, por lo que los parámetros que caracterizan los extremos locales son idénticas, lo que significa que las distribuciones en sí son idénticas. Por lo tanto, el extremo local es único y, según la discusión anterior, el máximo es único, siempre que exista realmente un extremo local.
Advertencias
Tenga en cuenta que no todas las clases de distribuciones contienen una distribución de entropía máxima. Es posible que una clase contenga distribuciones de entropía arbitrariamente grande (por ejemplo, la clase de todas las distribuciones continuas en R con media 0 pero desviación estándar arbitraria), o que las entropías estén limitadas por encima pero no hay distribución que alcance la entropía máxima. [a] También es posible que las restricciones espera que el valor para la clase C fuerzan la distribución de probabilidad de ser cero en ciertos subconjuntos de S . En ese caso, nuestro teorema no se aplica, pero se puede solucionar este problema reduciendo el conjunto S .
Ejemplos de
Cada distribución de probabilidad es trivialmente una distribución de probabilidad de entropía máxima bajo la restricción de que la distribución tiene su propia entropía. Para ver esto, reescriba la densidad comoy compárelo con la expresión del teorema anterior. Por elección ser la función medible y
ser la constante, es la distribución de probabilidad de entropía máxima bajo la restricción
- .
Los ejemplos no triviales son distribuciones que están sujetas a múltiples restricciones que son diferentes de la asignación de la entropía. Estos a menudo se encuentran comenzando con el mismo procedimiento. y encontrar eso se puede separar en partes.
Una tabla de ejemplos de distribuciones de entropía máxima se da en Lisman (1972) [6] y Park & Bera (2009) [7].
Distribuciones uniformes y uniformes por partes
La distribución uniforme en el intervalo [ a , b ] es la distribución de entropía máxima entre todas las distribuciones continuas que se apoyan en el intervalo [ a , b ], y por lo tanto la densidad de probabilidad es 0 fuera del intervalo. Esta densidad uniforme puede relacionarse con el principio de indiferencia de Laplace , a veces llamado principio de razón insuficiente. De manera más general, si se nos da una subdivisión a = a 0 < a 1 <... < a k = b del intervalo [ a , b ] y probabilidades p 1 , ..., p k que suman uno , entonces podemos considerar la clase de todas las distribuciones continuas tal que
La densidad de la distribución de entropía máxima para esta clase es constante en cada uno de los intervalos [ a j -1 , a j ). La distribución uniforme en el conjunto finito { x 1 , ..., x n } (que asigna una probabilidad de 1 / n a cada uno de estos valores) es la distribución de entropía máxima entre todas las distribuciones discretas admitidas en este conjunto.
Media positiva y especificada: la distribución exponencial
La distribución exponencial , para la cual la función de densidad es
es la distribución de entropía máxima entre todas las distribuciones continuas admitidas en [0, ∞) que tienen una media especificada de 1 / λ.
Varianza especificada: la distribución normal
La distribución normal N (μ, σ 2 ), para la cual la función de densidad es
tiene la máxima entropía entre todas las distribuciones de valor real soportadas en (−∞, ∞) con una varianza especificada σ 2 (un momento particular ). Por tanto, el supuesto de normalidad impone la restricción estructural mínima previa más allá de este momento. (Consulte el artículo sobre entropía diferencial para obtener una derivación).
En el caso de distribuciones compatibles con [0, ∞), la distribución de entropía máxima depende de las relaciones entre el primer y el segundo momento. En casos específicos, puede ser la distribución exponencial, o puede ser otra distribución, o puede ser indefinible. [8]
Distribuciones discretas con media especificada
Entre todas las distribuciones discretas admitidas en el conjunto { x 1 , ..., x n } con una media μ especificada, la distribución de entropía máxima tiene la siguiente forma:
donde las constantes positivas C y r se pueden determinar mediante los requisitos de que la suma de todas las probabilidades debe ser 1 y el valor esperado debe ser μ.
Por ejemplo, si un número grande N de dados se tiran, y se le dijo que la suma de todos los números que se muestran es S . Basándose únicamente en esta información, ¿cuál sería una suposición razonable para el número de dados que muestran 1, 2, ..., 6? Este es un ejemplo de la situación considerada anteriormente, con { x 1 , ..., x 6 } = {1, ..., 6} y μ = S / N .
Finalmente, entre todas las distribuciones discretas soportadas en el conjunto infinito con media μ, la distribución máxima de entropía tiene la forma:
donde de nuevo las constantes C y r se determinaron por los requisitos de que la suma de todas las probabilidades debe ser 1 y el valor esperado debe ser μ. Por ejemplo, en el caso de que x k = k , esto da
de modo que la distribución de entropía máxima respectiva es la distribución geométrica .
Variables aleatorias circulares
Para una variable aleatoria continua distribuida alrededor del círculo unitario, la distribución de Von Mises maximiza la entropía cuando se especifican las partes real e imaginaria del primer momento circular [9] o, de manera equivalente, se especifican la media circular y la varianza circular .
Cuando la media y la varianza de los ángulos modulo se especifican, la distribución normal envuelta maximiza la entropía. [9]
Maximizador para media, varianza y sesgo especificados
Existe un límite superior en la entropía de variables aleatorias continuas en con una media, varianza y sesgo especificados. Sin embargo, no existe una distribución que logre este límite superior , porque es ilimitado excepto cuando (ver Cover y Thomas (2006: capítulo 12)). [ aclaración necesaria (explicación) ]
Sin embargo, la entropía máxima es ε- alcanzable: la entropía de una distribución puede estar arbitrariamente cerca del límite superior. Comience con una distribución normal de la media y la varianza especificadas. Para introducir un sesgo positivo, perturbe la distribución normal hacia arriba en una pequeña cantidad a un valor muchos σ mayor que la media. La asimetría, al ser proporcional al tercer momento, se verá más afectada que los momentos de orden inferior.
Maximizador para medida de riesgo de desviación y media especificada
Cada distribución con log-cóncava densidad es una distribución de entropía máxima con media especificada μ y riesgo Desviación medida D . [10]
En particular, la distribución de entropía máxima con media especificada y desviación es:
- La distribución normal , Si es la desviación estándar ;
- La distribución de Laplace , sies la desviación absoluta promedio ; [6]
- La distribución con densidad de la forma. Si es la semidesviación estándar más baja, donde y a, b, c son constantes. [10]
Otros ejemplos
En la siguiente tabla, cada distribución enumerada maximiza la entropía para un conjunto particular de restricciones funcionales enumeradas en la tercera columna, y la restricción de que x se incluya en el soporte de la densidad de probabilidad, que se enumera en la cuarta columna. [6] [7] Varios ejemplos (Bernoulli, geométrico, exponencial, Laplace, Pareto) enumerados son trivialmente verdaderos porque sus restricciones asociadas son equivalentes a la asignación de su entropía. Se incluyen de todos modos porque su restricción está relacionada con una cantidad común o fácilmente medible. Para referencia,es la función gamma ,es la función digamma ,es la función beta y γ E es la constante de Euler-Mascheroni .
Nombre de distribución | Función de densidad / masa de probabilidad | Restricción máxima de entropía | Apoyo |
---|---|---|---|
Uniforme (discreto) | Ninguno | ||
Uniforme (continuo) | Ninguno | ||
Bernoulli | |||
Geométrico | |||
Exponencial | |||
Laplace | |||
Laplace asimétrica | |||
Pareto | |||
Normal | |||
Normal truncado | (ver artículo) | ||
von Mises | |||
Rayleigh | |||
Beta | por | ||
Cauchy | |||
Chi | |||
Chi-cuadrado | |||
Erlang | |||
Gama | |||
Lognormal | |||
Maxwell – Boltzmann | |||
Weibull | |||
Normal multivariante | |||
Binomio | [11] | ||
Poisson | [11] |
Ver también
- Familia exponencial
- Medida de Gibbs
- Función de partición (matemáticas)
- Caminata aleatoria de entropía máxima : maximización de la tasa de entropía para un gráfico
Notas
- ^ Por ejemplo, la clase de todas las distribuciones continuas X en R con E ( X ) = 0 y E ( X 2 ) = E ( X 3 ) = 1 (ver Portada, Capítulo 12).
Citas
- ^ Williams, D. (2001), Pesando las probabilidades , Cambridge University Press , ISBN 0-521-00618-X (páginas 197-199).
- ^ Bernardo, JM, Smith, AFM (2000), Teoría Bayesiana , Wiley. ISBN 0-471-49464-X (páginas 209, 366)
- ^ O'Hagan, A. (1994), Teoría avanzada de estadística de Kendall, Vol 2B, Inferencia bayesiana , Edward Arnold . ISBN 0-340-52922-9 (Sección 5.40)
- ^ Botev, ZI; Kroese, DP (2011). "El método de la entropía cruzada generalizada, con aplicaciones a la estimación de la densidad de probabilidad" (PDF) . Metodología y Computación en Probabilidad Aplicada . 13 (1): 1–27. doi : 10.1007 / s11009-009-9133-7 . S2CID 18155189 .
- ^ Botev, ZI; Kroese, DP (2008). "Selección de ancho de banda no asintótica para estimación de densidad de datos discretos". Metodología y Computación en Probabilidad Aplicada . 10 (3): 435. doi : 10.1007 / s11009-007-9057-z . S2CID 122047337 .
- ^ a b c Lisman, JHC; van Zuylen, MCA (1972). "Nota sobre la generación de distribuciones de frecuencia más probables". Statistica Neerlandica . 26 (1): 19-23. doi : 10.1111 / j.1467-9574.1972.tb00152.x .
- ^ a b Park, Sung Y .; Bera, Anil K. (2009). "Modelo de heterocedasticidad condicional autorregresiva de máxima entropía" (PDF) . Revista de Econometría . 150 (2): 219–230. CiteSeerX 10.1.1.511.9750 . doi : 10.1016 / j.jeconom.2008.12.014 . Archivado desde el original (PDF) el 7 de marzo de 2016 . Consultado el 2 de junio de 2011 .
- ^ Dowson, D .; Wragg, A. (septiembre de 1973). "Distribuciones de máxima entropía habiendo prescrito el primer y segundo momento". Transacciones IEEE sobre teoría de la información (correspondencia). 19 (5): 689–693. doi : 10.1109 / tit.1973.1055060 . ISSN 0018-9448 .
- ^ a b Jammalamadaka, S. Rao; SenGupta, A. (2001). Temas en estadística circular . Nueva Jersey: World Scientific. ISBN 978-981-02-3778-3. Consultado el 15 de mayo de 2011 .
- ^ a b Grechuk, B., Molyboha, A., Zabarankin, M. (2009) Principio de máxima entropía con medidas de desviación general , Matemáticas de la investigación de operaciones 34 (2), 445-467, 2009.
- ^ a b Harremös, Peter (2001), "Distribuciones binomiales y de Poisson como distribuciones de entropía máxima", IEEE Transactions on Information Theory , 47 (5): 2039-2041, doi : 10.1109 / 18.930936.
Referencias
- Cover, TM ; Thomas, JA (2006). "Capítulo 12, Máxima entropía" (PDF) . Elementos de la teoría de la información (2 ed.). Wiley. ISBN 978-0471241959.
- F. Nielsen, R. Nock (2017), Límites superiores de MaxEnt para la entropía diferencial de distribuciones continuas univariadas , IEEE Signal Processing Letters , 24 (4), 402-406
- IJ Taneja (2001), Medidas de información generalizada y sus aplicaciones . Capítulo 1
- Nader Ebrahimi, Ehsan S. Soofi, Refik Soyer (2008), "Identificación, transformación y dependencia de la entropía máxima multivariante", Journal of Multivariate Analysis 99: 1217-1231, doi : 10.1016 / j.jmva.2007.08.004