En estadística, el límite inferior de la evidencia ( ELBO , también límite inferior variacional o energía libre variacional negativa ) es una cantidad que a menudo se optimiza en los métodos Bayesianos Variacionales . Estos métodos manejan casos donde una distribución sobre variables no observadas está optimizado como una aproximación al verdadero posterior , dados los datos observados . Entonces, el límite inferior de la evidencia se define como: [1]
dónde es la entropía cruzada . Maximizar el límite inferior de la evidencia minimiza, la divergencia Kullback-Leibler , una medida de disimilitud dedesde el verdadero trasero. La razón principal por la que se prefiere esta cantidad para la optimización es que se puede calcular sin acceso a la parte posterior, dada una buena elección de.
Para que otras medidas de disimilitud se optimicen para adaptarse consulte Divergencia (estadísticas) . [2]
Justificación como límite inferior de la prueba
El nombre evidencia límite inferior se justifica mediante el análisis de una descomposición de la divergencia KL entre el verdadero posterior y : [3]
Como Esta ecuación muestra que el límite inferior de la evidencia es de hecho un límite inferior en el registro de evidencia para el modelo considerado. Como no depende de Esta ecuación muestra además que maximizar el límite inferior de la evidencia a la derecha minimiza , como se afirmó anteriormente.
Referencias
- ^ Yang, Xitong. "Comprensión del límite inferior variacional" (PDF) . Instituto de Estudios Informáticos Avanzados . Universidad de Maryland . Consultado el 20 de marzo de 2018 .
- ^ Minka, Thomas (2005), Medidas de divergencia y transmisión de mensajes. (PDF)
- ^ Bishop, Christopher M. (2006), "10.1 Inferencia variacional" (PDF) , Reconocimiento de patrones y aprendizaje automático