En estadística , el criterio de información bayesiano ( BIC ) o el criterio de información de Schwarz (también SIC , SBC , SBIC ) es un criterio para la selección de modelos entre un conjunto finito de modelos; se prefiere el modelo con el BIC más bajo. Se basa, en parte, en la función de verosimilitud y está estrechamente relacionado con el criterio de información de Akaike (AIC).
Al ajustar modelos, es posible aumentar la probabilidad agregando parámetros, pero hacerlo puede resultar en un sobreajuste . Tanto BIC como AIC intentan resolver este problema introduciendo un término de penalización para el número de parámetros en el modelo; el plazo de penalización es mayor en BIC que en AIC.
El BIC fue desarrollado por Gideon E. Schwarz y publicado en un artículo de 1978, [1] donde dio un argumento bayesiano para adoptarlo.
Definición
El BIC se define formalmente como [2] [a]
dónde
- = el valor maximizado de la función de verosimilitud del modelo, es decir , dónde son los valores de los parámetros que maximizan la función de verosimilitud;
- = los datos observados;
- = el número de puntos de datos en , el número de observaciones , o equivalentemente, el tamaño de la muestra;
- = el número de parámetros estimados por el modelo. Por ejemplo, en la regresión lineal múltiple , los parámetros estimados son la intersección, laparámetros de pendiente y varianza constante de los errores; por lo tanto,.
Konishi y Kitagawa [4] : 217 derivan el BIC para aproximar la distribución de los datos, integrando los parámetros utilizando el método de Laplace , comenzando con la siguiente evidencia del modelo :
dónde es el previo para bajo modelo .
El registro (probabilidad), , luego se expande a una serie de Taylor de segundo orden sobre el MLE ,, asumiendo que es dos veces diferenciable de la siguiente manera:
dónde es la información media observada por observación , y prima () denota la transposición del vector . En la medida en que es insignificante y es relativamente lineal cerca , podemos integrarnos para obtener lo siguiente:
Como aumenta, podemos ignorar y ya que son . Por lo tanto,
donde BIC se define como arriba, y o (a) es el modo posterior bayesiano o (b) usa el MLE y el anterior tiene una pendiente distinta de cero en el MLE. Entonces el posterior
Propiedades
- Es independiente del prior.
- Puede medir la eficiencia del modelo parametrizado en términos de predecir los datos.
- Penaliza la complejidad del modelo donde la complejidad se refiere al número de parámetros en el modelo.
- Es aproximadamente igual al criterio de longitud mínima de descripción pero con signo negativo.
- Se puede utilizar para elegir el número de clústeres de acuerdo con la complejidad intrínseca presente en un conjunto de datos en particular.
- Está estrechamente relacionado con otros criterios de probabilidad penalizados, como el criterio de información de Desviación y el criterio de información de Akaike .
Limitaciones
El BIC adolece de dos limitaciones principales [5]
- la aproximación anterior solo es válida para el tamaño de la muestra mucho más grande que el número de parámetros en el modelo.
- el BIC no puede manejar colecciones complejas de modelos como en el problema de selección de variables (o selección de características ) en alta dimensión. [5]
Caso especial gaussiano
Bajo el supuesto de que los errores o perturbaciones del modelo son independientes e idénticamente distribuidos de acuerdo con una distribución normal y que la condición de frontera de que la derivada de la probabilidad logarítmica con respecto a la varianza verdadera es cero, esto se convierte en ( hasta una constante aditiva , que depende solo de ny no del modelo): [6]
dónde es la varianza del error. La varianza del error en este caso se define como
que es un estimador sesgado de la verdadera varianza .
En términos de la suma de cuadrados residual (RSS), el BIC es
Al probar varios modelos lineales contra un modelo saturado, el BIC se puede reescribir en términos de la desviación como: [7]
dónde es el número de parámetros del modelo en la prueba.
Al elegir entre varios modelos, se prefiere el que tenga el BIC más bajo. El BIC es una función creciente de la varianza del errory una función creciente de k . Es decir, la variación inexplicable en la variable dependiente y el número de variables explicativas aumentan el valor de BIC. Por lo tanto, un BIC más bajo implica menos variables explicativas, mejor ajuste o ambos. La solidez de las pruebas contra el modelo con el valor BIC más alto se puede resumir de la siguiente manera: [7]
ΔBIC | Evidencia en contra de un BIC más alto |
---|---|
0 a 2 | No vale más que una simple mención |
2 hasta 6 | Positivo |
6 hasta 10 | Fuerte |
> 10 | Muy fuerte |
El BIC generalmente penaliza los parámetros libres con más fuerza que el criterio de información de Akaike , aunque depende del tamaño de ny de la magnitud relativa de n y k .
Es importante tener en cuenta que el BIC se puede utilizar para comparar modelos estimados solo cuando los valores numéricos de la variable dependiente [b] son idénticos para todos los modelos que se comparan. Los modelos que se comparan no necesitan estar anidados , a diferencia del caso en el que los modelos se comparan mediante una prueba F o una prueba de razón de verosimilitud . [ cita requerida ]
Ver también
Notas
- ^ Los AIC, AICc y BIC definidos por Claeskens y Hjort [3] son los negativos de los definidos en este artículo y en la mayoría de las otras referencias estándar.
- ^ Una variable dependiente también se denomina variable de respuesta o variable de resultado . Consulte Análisis de regresión .
Referencias
- ^ Schwarz, Gideon E. (1978), "Estimación de la dimensión de un modelo", Annals of Statistics , 6 (2): 461–464, doi : 10.1214 / aos / 1176344136 , MR 0468014.
- ^ Wit, Ernst; Edwin van den Heuvel; Jan-Willem Romeyn (2012). " ' Todos los modelos son incorrectos ...': una introducción a la incertidumbre del modelo" (PDF) . Statistica Neerlandica . 66 (3): 217–236. doi : 10.1111 / j.1467-9574.2012.00530.x .
- ^ Claeskens, G .; Hjort, NL (2008), Selección de modelos y promediado de modelos , Cambridge University Press
- ^ Konishi, Sadanori; Kitagawa, Genshiro (2008). Criterios de información y modelización estadística . Saltador. ISBN 978-0-387-71886-6.
- ^ a b Giraud, C. (2015). Introducción a la estadística de alta dimensión . Chapman y Hall / CRC. ISBN 9781482237948.
- ^ Priestley, MB (1981). Análisis espectral y series de tiempo . Prensa académica . ISBN 978-0-12-564922-3. (pág.375).
- ^ a b Kass, Robert E .; Raftery, Adrian E. (1995), "Bayes Factors", Journal of the American Statistical Association , 90 (430): 773–795, doi : 10.2307 / 2291091 , ISSN 0162-1459 , JSTOR 2291091.
Otras lecturas
- Bhat, HS; Kumar, N (2010). "Sobre la derivación del criterio de información bayesiano" (PDF) . Archivado desde el original (PDF) el 28 de marzo de 2012. Cite journal requiere
|journal=
( ayuda ) - Findley, DF (1991). "Contraejemplos a la parsimonia y BIC". Anales del Instituto de Matemática Estadística . 43 (3): 505–514. doi : 10.1007 / BF00053369 .
- Kass, RE; Wasserman, L. (1995). "Una prueba bayesiana de referencia para hipótesis anidadas y su relación con el criterio de Schwarz". Revista de la Asociación Estadounidense de Estadística . 90 (431): 928–934. doi : 10.2307 / 2291327 . JSTOR 2291327 .
- Liddle, AR (2007). "Criterios de información para la selección del modelo astrofísico". Avisos mensuales de la Royal Astronomical Society . 377 (1): L74 – L78. arXiv : astro-ph / 0701113 . Código Bib : 2007MNRAS.377L..74L . doi : 10.1111 / j.1745-3933.2007.00306.x .
- McQuarrie, ADR; Tsai, C.-L. (1998). Selección de modelos de regresión y series temporales . World Scientific .
enlaces externos
- Criterios de información y selección de modelos
- Modelado autorregresivo de vector disperso