En teoría de la información , la desigualdad de Gibbs es una declaración sobre la entropía de información de una distribución de probabilidad discreta . Varios otros límites en la entropía de las distribuciones de probabilidad se derivan de la desigualdad de Gibbs, incluida la desigualdad de Fano . Fue presentado por primera vez por J. Willard Gibbs en el siglo XIX.
Suponer que
es una distribución de probabilidad . Luego, para cualquier otra distribución de probabilidad
la siguiente desigualdad entre cantidades positivas (ya que p i y q i están entre cero y uno) se cumple: [1] : 68
con igualdad si y solo si
por todo i . Dicho en palabras, la entropía de información de una distribución P es menor o igual que su entropía cruzada con cualquier otra distribución Q.
La diferencia entre las dos cantidades es la divergencia o entropía relativa de Kullback-Leibler , por lo que la desigualdad también se puede escribir: [2] : 34
Tenga en cuenta que el uso de logaritmos en base 2 es opcional y permite referirse a la cantidad en cada lado de la desigualdad como una " sorpresa promedio " medida en bits .
Para simplificar, probamos el enunciado usando el logaritmo natural (ln), ya que
el logaritmo particular que elegimos solo escala la relación.
Dejar denotar el conjunto de todos para el cual p i es distinto de cero. Entonces, desdepara todo x> 0 , con igualdad si y solo si x = 1 , tenemos:
La última desigualdad es una consecuencia de que p i y q i son parte de una distribución de probabilidad. Específicamente, la suma de todos los valores distintos de cero es 1. Sin embargo, algunos q i distintos de cero pueden haber sido excluidos ya que la elección de índices está condicionada a que p i sea distinto de cero. Por tanto, la suma de q i puede ser menor que 1.
Hasta ahora, sobre el conjunto de índices , tenemos:
- ,
o equivalente
- .
Ambas sumas se pueden extender a todos , es decir, incluyendo , recordando que la expresión tiende a 0 como tiende a 0, y tiende a como tiende a 0. Llegamos a
Para que la igualdad se mantenga, necesitamos
- para todos para que la igualdad sostiene,
- y lo que significa Si , es decir, Si .
Esto puede suceder si y solo si por .
El resultado se puede probar alternativamente utilizando la desigualdad de Jensen , la desigualdad de suma logarítmica o el hecho de que la divergencia de Kullback-Leibler es una forma de divergencia de Bregman . A continuación damos una prueba basada en la desigualdad de Jensen:
Debido a que log es una función cóncava, tenemos que:
Donde la primera desigualdad se debe a la desigualdad de Jensen, y la última igualdad se debe a la misma razón dada en la prueba anterior.
Además, dado que es estrictamente cóncava, por la condición de igualdad de la desigualdad de Jensen obtenemos igualdad cuando
y
Suponga que esta razón es , entonces tenemos eso
Donde usamos el hecho de que son distribuciones de probabilidad. Por tanto, la igualdad ocurre cuando.
La entropía deestá delimitado por: [1] : 68
La prueba es trivial, simplemente establezca por todo i .