Reducción del modelo bayesiano

La reducción del modelo bayesiano es un método para calcular la evidencia y posterior sobre los parámetros de los modelos bayesianos que difieren en sus antecedentes . ^{[1] [2]} Se ajusta un modelo completo a los datos utilizando enfoques estándar. Luego, las hipótesis se prueban definiendo uno o más modelos 'reducidos' con anteriores alternativos (y generalmente más restrictivos), que generalmente, en el límite, desactivan ciertos parámetros. La evidencia y los parámetros de los modelos reducidos se pueden calcular a partir de la evidencia y los parámetros estimados ( posteriores ) del modelo completo mediante la reducción del modelo bayesiano. Si los anteriores y posteriores se distribuyen normalmente, entonces hay una solución analítica que se puede calcular rápidamente. Esto tiene múltiples aplicaciones científicas y de ingeniería: estas incluyen calificar la evidencia para un gran número de modelos muy rápidamente y facilitar la estimación de modelos jerárquicos ( Parametric Empirical Bayes ).

Considere algún modelo con parámetros y una densidad de probabilidad previa sobre esos parámetros . La creencia posterior sobre después de ver los datos viene dada por la regla de Bayes :${\ estilo de visualización \ theta}$${\ estilo de visualización p (\ theta)}$${\ estilo de visualización \ theta}$${\displaystyle p(\theta \mid y)}$

La segunda línea de la Ecuación 1 es la evidencia del modelo, que es la probabilidad de observar los datos dado el modelo. En la práctica, el posterior generalmente no se puede calcular analíticamente debido a la dificultad de calcular la integral sobre los parámetros. Por lo tanto, los posteriores se estiman utilizando enfoques como el muestreo MCMC o Bayes variacional . A continuación, se puede definir un modelo reducido con un conjunto alternativo de prioridades :${\displaystyle {\tilde {p}}(\theta)}$

El objetivo de la reducción del modelo bayesiano es calcular la posterior y la evidencia del modelo reducido a partir de la posterior y la evidencia del modelo completo. Combinando la Ecuación 1 y la Ecuación 2 y reorganizando, el posterior reducido se puede expresar como el producto del posterior completo, la proporción de anteriores y la proporción de evidencias:${\displaystyle {\tilde {p}}(\theta\mid y)}$${\displaystyle {\tilde {p}}(y)}$${\displaystyle p(\theta \mid y)}$${\ estilo de visualización p (y)}$${\displaystyle {\tilde {p}}(\theta\mid y)}$

La evidencia para el modelo reducido se obtiene integrando sobre los parámetros de cada lado de la ecuación:

Bajo densidades anteriores y posteriores gaussianas, tal como se utilizan en el contexto de Bayes variacional , la reducción del modelo bayesiano tiene una solución analítica simple. ^[1] Primero defina las densidades normales para los anteriores y posteriores:

Ejemplos de antecedentes. En un modelo 'completo', a la izquierda, un parámetro tiene un anterior gaussiano con media 0 y desviación estándar 0,5. En un modelo 'reducido', a la derecha, el mismo parámetro tiene media previa cero y desviación estándar 1/1000. La reducción del modelo bayesiano permite que las pruebas y los parámetros del modelo reducido se deriven de las pruebas y los parámetros del modelo completo.