Divergencia Kullback-Leibler

En estadística matemática , la divergencia de Kullback-Leibler (también llamada entropía relativa ) es una distancia estadística : una medida de cómo una distribución de probabilidad Q es diferente de una segunda distribución de probabilidad de referencia P. ^{[1] [2]} Una interpretación simple de la divergencia de P de Q es el exceso de sorpresa esperado al usar Q como modelo cuando la distribución real es P . Si bien es una distancia, no es una métrica , el tipo de distancia más familiar: es${\displaystyle D_{\text{KL}}(P\parallel Q)}$ asimétrico en las dos distribuciones (en contraste con la variación de la información ), y no satisface la desigualdad del triángulo . En cambio, en términos de geometría de la información , es una divergencia , ^[3] una generalización de la distancia al cuadrado , y para ciertas clases de distribuciones (en particular, una familia exponencial ), satisface un teorema de Pitágoras generalizado (que se aplica a las distancias al cuadrado). ^[4]

En el caso simple, una entropía relativa de 0 indica que las dos distribuciones en cuestión tienen cantidades idénticas de información. Tiene diversas aplicaciones, tanto teóricas, como caracterizar la entropía relativa (Shannon) en sistemas de información, la aleatoriedad en series temporales continuas y la ganancia de información al comparar modelos estadísticos de inferencia ; y prácticos, como estadística aplicada, mecánica de fluidos , neurociencia y bioinformática .

Considere dos distribuciones de probabilidad y . Por lo general, representa los datos, las observaciones o una distribución de probabilidad medida. La distribución representa en cambio una teoría, un modelo, una descripción o una aproximación de . Luego, la divergencia Kullback-Leibler se interpreta como la diferencia promedio de la cantidad de bits necesarios para codificar muestras de usar un código optimizado para en lugar de uno optimizado para . Tenga en cuenta que los roles de y se pueden invertir en algunas situaciones en las que es más fácil de calcular, como con el algoritmo de maximización de expectativas (EM) y los cálculos de límite inferior de evidencia (ELBO) .${\ estilo de visualización P}$${\ estilo de visualización Q}$${\ estilo de visualización P}$${\ estilo de visualización Q}$${\ estilo de visualización P}$${\ estilo de visualización P}$${\ estilo de visualización Q}$${\ estilo de visualización P}$${\ estilo de visualización P}$${\ estilo de visualización Q}$

Dos distribuciones para ilustrar la entropía relativa

Ilustración de la entropía relativa para dos distribuciones normales . La asimetría típica es claramente visible.

Gráfico de presión versus volumen del trabajo disponible de un mol de gas argón en relación con el ambiente, calculado como multiplicado por la divergencia Kullback-Leibler.${\displaystyle T_{o}}$