El paso de mensajes variacional ( VMP ) es una técnica de inferencia aproximada para redes bayesianas de valores continuos o discretos , con padres exponenciales conjugados , desarrollada por John Winn. VMP se desarrolló como un medio para generalizar los métodos variacionales aproximados utilizados por técnicas tales como la asignación de Dirichlet latente y funciona actualizando una distribución aproximada en cada nodo a través de mensajes en el manto de Markov del nodo .
Límite inferior de probabilidad
Dado un conjunto de variables ocultas y variables observadas , el objetivo de la inferencia aproximada es limitar la probabilidad de que un modelo gráfico esté en la configuración . Sobre alguna distribución de probabilidad (se definirá más adelante),
- .
Entonces, si definimos nuestro límite inferior como
- ,
entonces la probabilidad es simplemente este límite más la entropía relativa entre y . Debido a que la entropía relativa no es negativa, la función definido anteriormente es de hecho un límite inferior de la probabilidad logarítmica de nuestra observación . La distribución tendrá un carácter más simple que el de porque marginando sobre es intratable para todos los modelos gráficos, excepto el más simple . En particular, VMP usa una distribución factorizada:
dónde es una parte separada del modelo gráfico.
Determinación de la regla de actualización
La estimación de probabilidad debe ser lo más grande posible; porque es un límite inferior, acercándosemejora la aproximación de la probabilidad logarítmica. Sustituyendo en la versión factorizada de, , parametrizado sobre los nodos ocultos como arriba, es simplemente la entropía relativa negativa entre y más otros términos independientes de Si Se define como
- ,
dónde es la expectativa sobre todas las distribuciones excepto . Por lo tanto, si establecemos ser - estar , el límite se maximiza.
Mensajes en paso de mensaje variacional
Los padres envían a sus hijos la expectativa de su estadística suficiente, mientras que los niños envían a sus padres su parámetro natural , que también requiere que se envíen mensajes de los co-padres del nodo.
Relación con familias exponenciales
Debido a que todos los nodos de VMP provienen de familias exponenciales y todos los padres de los nodos están conjugados con sus nodos secundarios, la expectativa de la estadística suficiente se puede calcular a partir del factor de normalización .
Algoritmo VMP
El algoritmo comienza calculando el valor esperado de las estadísticas suficientes para ese vector. Luego, hasta que la probabilidad converja a un valor estable (esto generalmente se logra estableciendo un valor de umbral pequeño y ejecutando el algoritmo hasta que aumente en menos de ese valor de umbral), haga lo siguiente en cada nodo:
- Recibe todos los mensajes de los padres
- Recibir todos los mensajes de los niños (esto puede requerir que los niños reciban mensajes de los co-padres)
- Calcule el valor esperado de las estadísticas suficientes de los nodos
Restricciones
Debido a que cada hijo debe conjugarse con su padre, esto limita los tipos de distribuciones que se pueden usar en el modelo. Por ejemplo, los padres de una distribución gaussiana deben ser una distribución gaussiana (correspondiente a la media ) y una distribución gamma (correspondiente a la precisión, o una sobreen parametrizaciones más habituales). Las variables discretas pueden tener padres Dirichlet , y los nodos de Poisson y exponenciales deben tener padres gamma . Sin embargo, si los datos se pueden modelar de esta manera, VMP ofrece un marco generalizado para proporcionar inferencias.
Referencias
- Winn, JM; Obispo, C. (2005). "Paso de mensaje variacional" (PDF) . Revista de investigación sobre aprendizaje automático . 6 : 661–694.
- Beal, MJ (2003). Algoritmos variacionales para inferencia bayesiana aproximada (PDF) (PhD). Unidad de Neurociencia Computacional Gatsby, University College London. Archivado desde el original (PDF) el 28 de abril de 2005 . Consultado el 15 de febrero de 2007 .
enlaces externos
- Infer.NET : un marco de inferencia que incluye una implementación de VMP con ejemplos.
- hoyuelo : un sistema de inferencia de código abierto compatible con VMP.
- Una implementación anterior de VMP con ejemplos de uso.