Divergencia de Jensen-Shannon

---

En teoría de probabilidad y estadística , la divergencia Jensen - Shannon es un método para medir la similitud entre dos distribuciones de probabilidad . También se le conoce como radio de información ( IRad ) ^[1] o divergencia total a la media . ^[2] Se basa en la divergencia de Kullback-Leibler , con algunas diferencias notables (y útiles), incluyendo que es simétrica y siempre tiene un valor finito. La raíz cuadrada de la divergencia de Jensen-Shannon es una métrica a menudo denominada distancia de Jensen-Shannon. ^{[3][4] [5]}

Considere el conjunto de distribuciones de probabilidad donde A es un conjunto provisto de algún σ-álgebra de subconjuntos medibles. En particular, podemos tomar A como un conjunto finito o numerable con todos los subconjuntos medibles.${\displaystyle M_{+}^{1}(A)}$

La divergencia de Jensen-Shannon (JSD) es una versión simetrizada y suavizada de la divergencia de Kullback-Leibler . se define por${\displaystyle M_{+}^{1}(A)\times M_{+}^{1}(A)\rightarrow [0,\infty {})}$ ${\ estilo de visualización D (P \ paralelo Q)}$

donde ${\displaystyle M={\frac{1}{2}}(P+Q)}$

La divergencia geométrica de Jensen-Shannon (o divergencia G-Jensen-Shannon) produce una fórmula de forma cerrada para la divergencia entre dos distribuciones gaussianas tomando la media geométrica.

Una definición más general, que permite la comparación de más de dos distribuciones de probabilidad, es:

---