Criterio de información bayesiano


De Wikipedia, la enciclopedia libre
Saltar a navegación Saltar a búsqueda

En estadística , el criterio de información bayesiano ( BIC ) o el criterio de información de Schwarz (también SIC , SBC , SBIC ) es un criterio para la selección de modelos entre un conjunto finito de modelos; Por lo general, se prefieren los modelos con un BIC más bajo. Se basa, en parte, en la función de probabilidad y está estrechamente relacionado con el criterio de información de Akaike (AIC).

Al ajustar modelos, es posible aumentar la probabilidad agregando parámetros, pero hacerlo puede resultar en un sobreajuste . Tanto BIC como AIC intentan resolver este problema introduciendo un término de penalización para el número de parámetros en el modelo; el plazo de penalización es mayor en BIC que en AIC.

El BIC fue desarrollado por Gideon E. Schwarz y publicado en un artículo de 1978, [1] donde dio un argumento bayesiano para adoptarlo.

Definición

El BIC se define formalmente como [2] [a]

dónde

  • = el valor maximizado de la función de verosimilitud del modelo , es decir , dónde están los valores de los parámetros que maximizan la función de verosimilitud;
  • = los datos observados;
  • = el número de puntos de datos , el número de observaciones o, de manera equivalente, el tamaño de la muestra;
  • = el número de parámetros estimados por el modelo. Por ejemplo, en la regresión lineal múltiple , los parámetros estimados son la intersección, los parámetros de pendiente y la varianza constante de los errores; Por lo tanto, .

Konishi y Kitagawa [4] : 217  derivan el BIC para aproximar la distribución de los datos, integrando los parámetros utilizando el método de Laplace , comenzando con la siguiente evidencia del modelo :

donde es el anterior para el modelo inferior .

El diario de probabilidad, , entonces se expandió a un segundo orden en serie de Taylor alrededor de la MLE , , asumiendo que es diferenciable dos veces como sigue:

donde es la información media observada por observación , y prime ( ) denota la transposición del vector . En la medida en que sea ​​insignificante y relativamente lineal cerca , podemos integrar para obtener lo siguiente:

A medida que aumenta, podemos ignorar y como son . Por lo tanto, O ( 1 ) {\displaystyle O(1)}

donde BIC se define como anteriormente, y (a) es el modo posterior bayesiano o (b) usa el MLE y el anterior tiene una pendiente distinta de cero en el MLE. Entonces el posterior

Uso

Al elegir entre varios modelos, generalmente se prefieren los que tienen valores BIC más bajos. El BIC es una función creciente de la varianza del error y una función creciente de k . Es decir, la variación inexplicable en la variable dependiente y el número de variables explicativas aumentan el valor de BIC. Sin embargo, un BIC más bajo no necesariamente indica que un modelo sea mejor que otro. Debido a que implica aproximaciones, el BIC es simplemente una heurística. En particular, las diferencias en BIC nunca deben tratarse como factores de Bayes transformados.

Es importante tener en cuenta que el BIC se puede utilizar para comparar modelos estimados solo cuando los valores numéricos de la variable dependiente [b] son idénticos para todos los modelos que se comparan. Los modelos que se comparan no necesitan estar anidados , a diferencia del caso en el que los modelos se comparan mediante una prueba F o una prueba de razón de verosimilitud . [ cita requerida ]

Propiedades

  • El BIC generalmente penaliza los parámetros libres con más fuerza que el criterio de información de Akaike , aunque depende del tamaño de ny de la magnitud relativa de nk .
  • Es independiente del prior.
  • Puede medir la eficiencia del modelo parametrizado en términos de predecir los datos.
  • Penaliza la complejidad del modelo donde la complejidad se refiere al número de parámetros en el modelo.
  • Es aproximadamente igual al criterio de longitud mínima de descripción pero con signo negativo.
  • Se puede utilizar para elegir el número de clústeres de acuerdo con la complejidad intrínseca presente en un conjunto de datos en particular.
  • Está estrechamente relacionado con otros criterios de probabilidad penalizados, como el criterio de información de Desviación y el criterio de información de Akaike .

Limitaciones

El BIC adolece de dos limitaciones principales [5]

  1. la aproximación anterior solo es válida para un tamaño de muestra mucho mayor que el número de parámetros del modelo.
  2. el BIC no puede manejar colecciones complejas de modelos como en el problema de selección de variables (o selección de características ) en alta dimensión. [5]

Caso especial gaussiano

Bajo el supuesto de que los errores o perturbaciones del modelo son independientes e idénticamente distribuidos de acuerdo con una distribución normal y que la condición de límite de que la derivada de la probabilidad logarítmica con respecto a la varianza verdadera es cero, esto se convierte en ( hasta una constante aditiva , que depende solo de ny no del modelo): [6]

donde es la varianza del error. La varianza del error en este caso se define como

que es un estimador sesgado de la verdadera varianza .

En términos de la suma de cuadrados residual (RSS), el BIC es

Al probar varios modelos lineales contra un modelo saturado, el BIC se puede reescribir en términos de la desviación como: [7]

donde es el número de parámetros del modelo en la prueba.

Ver también

  • Criterio de información de Akaike
  • Factor de Bayes
  • Comparación del modelo bayesiano
  • Criterio de información de desviación
  • Criterio de información de Hannan-Quinn
  • Divergencia Jensen-Shannon
  • Divergencia de Kullback-Leibler
  • Longitud mínima del mensaje

Notas

  1. ^ Los AIC, AICc y BIC definidos por Claeskens y Hjort [3] son los negativos de los definidos en este artículo y en la mayoría de las otras referencias estándar.
  2. ^ Una variable dependiente también se denomina variable de respuesta o variable de resultado . Consulte Análisis de regresión .

Referencias

  1. ^ Schwarz, Gideon E. (1978), "Estimación de la dimensión de un modelo", Annals of Statistics , 6 (2): 461–464, doi : 10.1214 / aos / 1176344136 , MR  0468014.
  2. ^ Ingenio, Ernst; Edwin van den Heuvel; Jan-Willem Romeyn (2012). " ' Todos los modelos son incorrectos ...': una introducción a la incertidumbre del modelo" (PDF) . Statistica Neerlandica . 66 (3): 217-236. doi : 10.1111 / j.1467-9574.2012.00530.x .
  3. ^ Claeskens, G .; Hjort, NL (2008), Selección de modelos y promedios de modelos , Cambridge University Press
  4. ^ Konishi, Sadanori; Kitagawa, Genshiro (2008). Criterios de información y modelización estadística . Saltador. ISBN 978-0-387-71886-6.
  5. ↑ a b Giraud, C. (2015). Introducción a la estadística de alta dimensión . Chapman y Hall / CRC. ISBN 9781482237948.
  6. ^ Priestley, MB (1981). Análisis espectral y series de tiempo . Prensa académica . ISBN 978-0-12-564922-3. (pág.375).
  7. ^ Kass, Robert E .; Raftery, Adrian E. (1995), "Bayes Factors", Journal of the American Statistical Association , 90 (430): 773–795, doi : 10.2307 / 2291091 , ISSN 0162-1459 , JSTOR 2291091  .

Otras lecturas

  • Bhat, HS; Kumar, N (2010). "Sobre la derivación del criterio de información bayesiano" (PDF) . Archivado desde el original (PDF) el 28 de marzo de 2012. Cite journal requiere |journal=( ayuda )
  • Findley, DF (1991). "Contraejemplos a la parsimonia y BIC". Anales del Instituto de Matemática Estadística . 43 (3): 505–514. doi : 10.1007 / BF00053369 .
  • Kass, RE; Wasserman, L. (1995). "Una prueba bayesiana de referencia para hipótesis anidadas y su relación con el criterio de Schwarz". Revista de la Asociación Estadounidense de Estadística . 90 (431): 928–934. doi : 10.2307 / 2291327 . JSTOR  2291327 .
  • Liddle, AR (2007). "Criterios de información para la selección del modelo astrofísico". Avisos mensuales de la Royal Astronomical Society . 377 (1): L74 – L78. arXiv : astro-ph / 0701113 . Código bibliográfico : 2007MNRAS.377L..74L . doi : 10.1111 / j.1745-3933.2007.00306.x .
  • McQuarrie, ADR; Tsai, C.-L. (1998). Selección de modelos de regresión y series temporales . World Scientific .

enlaces externos

  • Criterios de información y selección de modelos
  • Modelado autorregresivo de vector disperso
Obtenido de " https://en.wikipedia.org/w/index.php?title=Bayesian_information_criterion&oldid=1047911436 "