En estadística , el criterio de información bayesiano ( BIC ) o el criterio de información de Schwarz (también SIC , SBC , SBIC ) es un criterio para la selección de modelos entre un conjunto finito de modelos; Por lo general, se prefieren los modelos con un BIC más bajo. Se basa, en parte, en la función de probabilidad y está estrechamente relacionado con el criterio de información de Akaike (AIC).
Al ajustar modelos, es posible aumentar la probabilidad agregando parámetros, pero hacerlo puede resultar en un sobreajuste . Tanto BIC como AIC intentan resolver este problema introduciendo un término de penalización para el número de parámetros en el modelo; el plazo de penalización es mayor en BIC que en AIC.
El BIC fue desarrollado por Gideon E. Schwarz y publicado en un artículo de 1978, [1] donde dio un argumento bayesiano para adoptarlo.
= el valor maximizado de la función de verosimilitud del modelo , es decir , dónde están los valores de los parámetros que maximizan la función de verosimilitud;
= los datos observados;
= el número de puntos de datos , el número de observaciones o, de manera equivalente, el tamaño de la muestra;
= el número de parámetros estimados por el modelo. Por ejemplo, en la regresión lineal múltiple , los parámetros estimados son la intersección, los parámetros de pendiente y la varianza constante de los errores; Por lo tanto, .
Konishi y Kitagawa [4] : 217 derivan el BIC para aproximar la distribución de los datos, integrando los parámetros utilizando el método de Laplace , comenzando con la siguiente evidencia del modelo :
donde es el anterior para el modelo inferior .
El diario de probabilidad, , entonces se expandió a un segundo orden en serie de Taylor alrededor de la MLE , , asumiendo que es diferenciable dos veces como sigue:
donde es la información media observada por observación , y prime ( ) denota la transposición del vector . En la medida en que sea insignificante y relativamente lineal cerca , podemos integrar para obtener lo siguiente:
A medida que aumenta, podemos ignorar y como son . Por lo tanto, O ( 1 ) {\displaystyle O(1)}
donde BIC se define como anteriormente, y (a) es el modo posterior bayesiano o (b) usa el MLE y el anterior tiene una pendiente distinta de cero en el MLE. Entonces el posterior
Uso
Al elegir entre varios modelos, generalmente se prefieren los que tienen valores BIC más bajos. El BIC es una función creciente de la varianza del error y una función creciente de k . Es decir, la variación inexplicable en la variable dependiente y el número de variables explicativas aumentan el valor de BIC. Sin embargo, un BIC más bajo no necesariamente indica que un modelo sea mejor que otro. Debido a que implica aproximaciones, el BIC es simplemente una heurística. En particular, las diferencias en BIC nunca deben tratarse como factores de Bayes transformados.
Es importante tener en cuenta que el BIC se puede utilizar para comparar modelos estimados solo cuando los valores numéricos de la variable dependiente [b] son idénticos para todos los modelos que se comparan. Los modelos que se comparan no necesitan estar anidados , a diferencia del caso en el que los modelos se comparan mediante una prueba F o una prueba de razón de verosimilitud . [ cita requerida ]
Propiedades
Esta sección necesita citas adicionales para su verificación . Por favor, ayuda a mejorar este artículo mediante la adición de citas de fuentes confiables . El material no obtenido puede ser cuestionado y eliminado. ( Noviembre de 2011 ) ( Obtenga información sobre cómo y cuándo eliminar este mensaje de plantilla )
El BIC generalmente penaliza los parámetros libres con más fuerza que el criterio de información de Akaike , aunque depende del tamaño de ny de la magnitud relativa de n y k .
Es independiente del prior.
Puede medir la eficiencia del modelo parametrizado en términos de predecir los datos.
Penaliza la complejidad del modelo donde la complejidad se refiere al número de parámetros en el modelo.
Es aproximadamente igual al criterio de longitud mínima de descripción pero con signo negativo.
Se puede utilizar para elegir el número de clústeres de acuerdo con la complejidad intrínseca presente en un conjunto de datos en particular.
Está estrechamente relacionado con otros criterios de probabilidad penalizados, como el criterio de información de Desviación y el criterio de información de Akaike .
Limitaciones
El BIC adolece de dos limitaciones principales [5]
la aproximación anterior solo es válida para un tamaño de muestra mucho mayor que el número de parámetros del modelo.
el BIC no puede manejar colecciones complejas de modelos como en el problema de selección de variables (o selección de características ) en alta dimensión. [5]
Caso especial gaussiano
Bajo el supuesto de que los errores o perturbaciones del modelo son independientes e idénticamente distribuidos de acuerdo con una distribución normal y que la condición de límite de que la derivada de la probabilidad logarítmica con respecto a la varianza verdadera es cero, esto se convierte en ( hasta una constante aditiva , que depende solo de ny no del modelo): [6]
donde es la varianza del error. La varianza del error en este caso se define como
que es un estimador sesgado de la verdadera varianza .
En términos de la suma de cuadrados residual (RSS), el BIC es
Al probar varios modelos lineales contra un modelo saturado, el BIC se puede reescribir en términos de la desviación como: [7]
donde es el número de parámetros del modelo en la prueba.
Ver también
Criterio de información de Akaike
Factor de Bayes
Comparación del modelo bayesiano
Criterio de información de desviación
Criterio de información de Hannan-Quinn
Divergencia Jensen-Shannon
Divergencia de Kullback-Leibler
Longitud mínima del mensaje
Notas
^ Los AIC, AICc y BIC definidos por Claeskens y Hjort [3] son los negativos de los definidos en este artículo y en la mayoría de las otras referencias estándar.
^ Una variable dependiente también se denomina variable de respuesta o variable de resultado . Consulte Análisis de regresión .
Referencias
^ Schwarz, Gideon E. (1978), "Estimación de la dimensión de un modelo", Annals of Statistics , 6 (2): 461–464, doi : 10.1214 / aos / 1176344136 , MR 0468014.
^ Ingenio, Ernst; Edwin van den Heuvel; Jan-Willem Romeyn (2012). " ' Todos los modelos son incorrectos ...': una introducción a la incertidumbre del modelo" (PDF) . Statistica Neerlandica . 66 (3): 217-236. doi : 10.1111 / j.1467-9574.2012.00530.x .
^ Claeskens, G .; Hjort, NL (2008), Selección de modelos y promedios de modelos , Cambridge University Press
^ Konishi, Sadanori; Kitagawa, Genshiro (2008). Criterios de información y modelización estadística . Saltador. ISBN 978-0-387-71886-6.
↑ a b Giraud, C. (2015). Introducción a la estadística de alta dimensión . Chapman y Hall / CRC. ISBN 9781482237948.
^ Priestley, MB (1981). Análisis espectral y series de tiempo . Prensa académica . ISBN 978-0-12-564922-3. (pág.375).
^ Kass, Robert E .; Raftery, Adrian E. (1995), "Bayes Factors", Journal of the American Statistical Association , 90 (430): 773–795, doi : 10.2307 / 2291091 , ISSN 0162-1459 , JSTOR 2291091 .
Otras lecturas
Bhat, HS; Kumar, N (2010). "Sobre la derivación del criterio de información bayesiano" (PDF) . Archivado desde el original (PDF) el 28 de marzo de 2012. Cite journal requiere |journal=( ayuda )
Findley, DF (1991). "Contraejemplos a la parsimonia y BIC". Anales del Instituto de Matemática Estadística . 43 (3): 505–514. doi : 10.1007 / BF00053369 .
Kass, RE; Wasserman, L. (1995). "Una prueba bayesiana de referencia para hipótesis anidadas y su relación con el criterio de Schwarz". Revista de la Asociación Estadounidense de Estadística . 90 (431): 928–934. doi : 10.2307 / 2291327 . JSTOR 2291327 .
Liddle, AR (2007). "Criterios de información para la selección del modelo astrofísico". Avisos mensuales de la Royal Astronomical Society . 377 (1): L74 – L78. arXiv : astro-ph / 0701113 . Código bibliográfico : 2007MNRAS.377L..74L . doi : 10.1111 / j.1745-3933.2007.00306.x .
McQuarrie, ADR; Tsai, C.-L. (1998). Selección de modelos de regresión y series temporales . World Scientific .
enlaces externos
Criterios de información y selección de modelos
Modelado autorregresivo de vector disperso
Categorías :
Selección de modelo
Inferencia bayesiana
Selección de variable de regresión
Categorías ocultas:
Artículos con breve descripción
La descripción breve es diferente de Wikidata
Todos los artículos con declaraciones sin fuente
Artículos con declaraciones sin fuente de febrero de 2019
Artículos que necesitan referencias adicionales a partir de noviembre de 2011
Todos los artículos que necesitan referencias adicionales