En estadística computacional , el algoritmo pseudo-marginal Metropolis-Hastings [1] es un método de Monte Carlo para muestrear a partir de una distribución de probabilidad. Es una instancia del popular algoritmo Metropolis-Hastings que extiende su uso a casos donde la densidad objetivo no está disponible analíticamente. Se basa en el hecho de que el algoritmo Metropolis-Hastings aún puede tomar muestras de la distribución objetivo correcta si la densidad objetivo en el índice de aceptación se reemplaza por una estimación. Es especialmente popular en las estadísticas bayesianas , donde se aplica si la función de verosimilitud no es manejable (vea el ejemplo a continuación).
El objetivo es simular a partir de alguna función de densidad de probabilidad . El algoritmo sigue los mismos pasos que el algoritmo estándar de Metropolis-Hastings, excepto que la evaluación de la densidad objetivo se reemplaza por una estimación no negativa e insesgada. A modo de comparación, a continuación se describen los pasos principales de un algoritmo de Metropolis-Hastings.
Algoritmo de Metropolis-Hastings
Dado un estado actual el algoritmo Metropolis-Hastings propone un nuevo estado según cierta densidad . El algoritmo luego establece con probabilidad
de lo contrario se mantiene el antiguo estado, es decir, .
Algoritmo pseudo-marginal de Metropolis-Hastings
Si la densidad no está disponible analíticamente, no se puede emplear el algoritmo anterior. Por el contrario, el algoritmo pseudo-marginal Metropolis-Hastings solo asume la existencia de un estimador con Ahora, dado y el presupuesto respectivo el algoritmo propone un nuevo estado según cierta densidad . Luego, calcule una estimación y establecer con probabilidad
de lo contrario se mantiene el antiguo estado, es decir, .
En la estadística bayesiana, el objetivo de la inferencia es la distribución posterior
dónde denota la función de verosimilitud, es el anterior yes la distribución predictiva previa . Dado que a menudo no existe una expresión analítica de esta cantidad, a menudo se recurre a los métodos de Monte Carlo para tomar muestras de la distribución. Los métodos de Monte Carlo a menudo necesitan la probabilidad ser accesible para cada valor de parámetro . En algunos casos, sin embargo, la probabilidad no tiene una expresión analítica. A continuación se describe un ejemplo de tal caso.
Ejemplo: modelo La variable latente [1]
Considere un modelo que consta de iid variables aleatorias latentes de valor real con y supongamos que solo se pueden observar estas variables a través de algún ruido adicional para alguna densidad condicional . (Esto podría deberse a un error de medición , por ejemplo.) Estamos interesados en el análisis bayesiano de este modelo basado en algunos datos observados. Por lo tanto, presentamos alguna distribución previa.en el parámetro. Para calcular la distribución posterior
necesitamos encontrar la función de verosimilitud. La contribución de la probabilidad de cualquier punto de datos observado es entonces
y la probabilidad conjunta de los datos observados es
Si la integral del lado derecho no está disponible analíticamente, se puede utilizar un muestreo de importancia para estimar la probabilidad. Introducir una distribución auxiliar tal que para todos luego
es un estimador insesgado de y la probabilidad conjunta se puede estimar sin sesgo mediante