En la inferencia bayesiana , el teorema de Bernstein-von Mises proporciona la base para usar conjuntos creíbles bayesianos para declaraciones de confianza en modelos paramétricos . Establece que bajo algunas condiciones, una distribución posterior converge en el límite de datos infinitos a una distribución normal multivariante centrada en el estimador de máxima verosimilitud con matriz de covarianza dada por, dónde es el verdadero parámetro de población y es la matriz de información de Fisher en el valor real del parámetro de población. [1]
Introducción
El teorema de Bernstein-von Mises es un resultado que vincula la inferencia bayesiana con la inferencia frecuentista . Asume que hay algún proceso probabilístico verdadero que genera las observaciones, como en el frecuentismo, y luego estudia la calidad de los métodos bayesianos para recuperar ese proceso y hacer declaraciones de incertidumbre sobre ese proceso. En particular, establece que conjuntos creíbles bayesianos de cierto nivel de credibilidad será asintóticamente conjuntos de confianza de nivel de confianza , que permite la interpretación de conjuntos creíbles bayesianos.
Declaración heurística
En un modelo , bajo ciertas condiciones de regularidad (dimensión finita, bien especificada, suave, existencia de pruebas), si la distribución previa en tiene una densidad con respecto a la medida de Lebesgue que es suficientemente suave (cerca de limitada desde cero), la distancia de variación total entre la distribución posterior reescalada (al centrar y reescalar a ) y una distribución gaussiana centrada en cualquier estimador eficiente y con la información inversa de Fisher como varianza convergerá en probabilidad a cero.
Bernstein-von Mises y estimación de máxima verosimilitud
En caso de que el estimador de máxima verosimilitud sea un estimador eficiente, podemos conectarlo y recuperamos una versión común, más específica, del teorema de Bernstein-von Mises .
Trascendencia
La implicación más importante del teorema de Bernstein-von Mises es que la inferencia bayesiana es asintóticamente correcta desde un punto de vista frecuentista. Esto significa que para grandes cantidades de datos, se puede usar la distribución posterior para hacer, desde un punto de vista frecuentista, declaraciones válidas sobre estimación e incertidumbre.
Historia
El teorema lleva el nombre de Richard von Mises y SN Bernstein, aunque Joseph L. Doob dio la primera prueba adecuada en 1949 para variables aleatorias con espacio de probabilidad finito . [2] Más tarde Lucien Le Cam , su estudiante de doctorado Lorraine Schwartz , David A. Freedman y Persi Diaconis ampliaron la prueba bajo supuestos más generales.
Limitaciones
En el caso de un modelo mal especificado, la distribución posterior también se volverá asintóticamente gaussiana con una media correcta, pero no necesariamente con la información de Fisher como varianza. Esto implica que conjuntos de niveles creíbles bayesianos no se puede interpretar como conjuntos de confianza de nivel . [3]
En el caso de la estadística no paramétrica, el teorema de Bernstein-von Mises generalmente no se cumple con una notable excepción del proceso de Dirichlet .
Freedman encontró un resultado notable en 1965: el teorema de Bernstein-von Mises no se cumple casi con seguridad si la variable aleatoria tiene un espacio de probabilidad numerable infinito ; sin embargo, esto depende de permitir una gama muy amplia de posibles antecedentes. En la práctica, los a priori utilizados típicamente en la investigación tienen la propiedad deseable incluso con un espacio de probabilidad numerable infinito .
Diferentes estadísticas de resumen, como la moda y la media, pueden comportarse de manera diferente en la distribución posterior. En los ejemplos de Freedman, la densidad posterior y su media pueden converger en el resultado incorrecto, pero el modo posterior es consistente y convergerá en el resultado correcto.
Citas
El estadístico AWF Edwards ha comentado: "A veces se dice, en defensa del concepto bayesiano, que la elección de la distribución previa no es importante en la práctica porque apenas influye en la distribución posterior cuando hay cantidades moderadas de datos. sobre esta 'defensa', mejor ". [4]
Notas
- ↑ van der Vaart, AW (1998). "10.2 Teorema de Bernstein-von Mises". Estadística asintótica . Prensa de la Universidad de Cambridge. ISBN 0-521-78450-6.
- ^ Doob, Joseph L. (1949). "Aplicación de la teoría de las martingalas". Coloq. Interno. du CNRS (París) . 13 : 23-27.
- ^ Kleijn, BJK; van der Vaart, AW (2012). "El teorema de Bernstein-Von-Mises bajo especificación incorrecta" . Revista Electrónica de Estadística . 6 (0): 354–381. doi : 10.1214 / 12-EJS675 .
- ^ Edwards, AWF (1992). Probabilidad . Baltimore: Prensa de la Universidad Johns Hopkins. ISBN 0-8018-4443-6.
Referencias
- Vaart, AW van der (1998). "10.2 Teorema de Bernstein-von Mises". Estadística asintótica . Prensa de la Universidad de Cambridge. ISBN 0-521-49603-9.
- Doob, Joseph L. (1949), Aplicación de la teoría de las martingalas . Coloq. Interno. du CNRS (París), núm. 13, págs. 23-27.
- Freedman, David A. (1963). Sobre el comportamiento asintótico de Bayes estima que en el caso discreto . The Annals of Mathematical Statistics, vol. 34, págs. 1386-1403.
- Freedman, David A. (1965). Sobre el comportamiento asintótico de las estimaciones de Bayes en el caso discreto II . The Annals of Mathematical Statistics, vol. 36, págs. 454–456.
- Le Cam, Lucien (1986). Métodos asintóticos en la teoría de la decisión estadística , Springer. ISBN 0-387-96307-3 (páginas 336 y 618–621).
- Lorraine Schwartz (1965). Sobre los procedimientos de Bayes . Z. Wahrscheinlichkeitstheorie, núm. 4, págs. 10-26.