La selección del modelo es la tarea de seleccionar un modelo estadístico de un conjunto de modelos candidatos, dados los datos. En los casos más simples, se considera un conjunto de datos preexistente. Sin embargo, la tarea también puede implicar el diseño de experimentos de modo que los datos recopilados se adapten bien al problema de la selección del modelo. Dados modelos candidatos de poder predictivo o explicativo similar, es más probable que el modelo más simple sea la mejor opción (la navaja de Occam ).
Konishi y Kitagawa (2008 , p. 75) afirman, "La mayoría de los problemas en la inferencia estadística pueden considerarse problemas relacionados con el modelado estadístico". De manera relacionada, Cox (2006 , p. 197) ha dicho: "La forma en que se hace [la] traducción del problema de la materia al modelo estadístico es a menudo la parte más crítica de un análisis".
La selección de modelos también puede referirse al problema de seleccionar algunos modelos representativos de un gran conjunto de modelos computacionales con el propósito de tomar decisiones o optimizarlos en condiciones de incertidumbre. [1]
Introducción
En sus formas más básicas, la selección de modelos es una de las tareas fundamentales de la investigación científica . La determinación del principio que explica una serie de observaciones a menudo está directamente relacionada con un modelo matemático que predice esas observaciones. Por ejemplo, cuando Galileo realizó sus experimentos de plano inclinado , demostró que el movimiento de las bolas se ajustaba a la parábola predicha por su modelo [ cita requerida ] .
De la innumerable cantidad de posibles mecanismos y procesos que podrían haber producido los datos, ¿cómo se puede siquiera comenzar a elegir el mejor modelo? El enfoque matemático comúnmente adoptado decide entre un conjunto de modelos candidatos; este conjunto debe ser elegido por el investigador. A menudo se utilizan modelos simples como polinomios , al menos inicialmente [ cita requerida ] . Burnham y Anderson (2002) enfatizan a lo largo de su libro la importancia de elegir modelos basados en principios científicos sólidos, como la comprensión de los procesos o mecanismos fenomenológicos (por ejemplo, reacciones químicas) subyacentes a los datos.
Una vez elegido el conjunto de modelos candidatos, el análisis estadístico nos permite seleccionar el mejor de estos modelos. Lo que se entiende por mejor es controvertido. Una buena técnica de selección de modelos equilibrará la bondad del ajuste con la simplicidad [ cita requerida ] . Los modelos más complejos podrán adaptar mejor su forma para ajustarse a los datos (por ejemplo, un polinomio de quinto orden puede ajustarse exactamente a seis puntos), pero los parámetros adicionales pueden no representar nada útil. (Quizás esos seis puntos están realmente distribuidos al azar sobre una línea recta). La bondad de ajuste generalmente se determina usando un enfoque de razón de verosimilitud , o una aproximación de esto, lo que lleva a una prueba de chi-cuadrado . La complejidad generalmente se mide contando el número de parámetros en el modelo.
Las técnicas de selección de modelos pueden considerarse como estimadores de alguna cantidad física, como la probabilidad de que el modelo produzca los datos dados. El sesgo y la varianza son medidas importantes de la calidad de este estimador; a menudo también se considera la eficiencia .
Un ejemplo estándar de selección de modelo es el de ajuste de curvas , donde, dado un conjunto de puntos y otros conocimientos previos (por ejemplo, los puntos son el resultado de muestras iid ), debemos seleccionar una curva que describa la función que generó los puntos.
Dos direcciones de selección de modelo
Hay dos objetivos principales en la inferencia y el aprendizaje de los datos. Uno es para el descubrimiento científico, la comprensión del mecanismo subyacente de generación de datos y la interpretación de la naturaleza de los datos. Otro objetivo de aprender de los datos es predecir observaciones futuras o invisibles. En el segundo objetivo, el científico de datos no se refiere necesariamente a una descripción probabilística precisa de los datos. Por supuesto, uno también puede estar interesado en ambas direcciones.
De acuerdo con los dos objetivos diferentes, la selección del modelo también puede tener dos direcciones: la selección del modelo para la inferencia y la selección del modelo para la predicción. [2] La primera dirección es identificar el mejor modelo para los datos, que preferiblemente proporcionará una caracterización confiable de las fuentes de incertidumbre para la interpretación científica. Para este objetivo, es muy importante que el modelo seleccionado no sea demasiado sensible al tamaño de la muestra. En consecuencia, una noción apropiada para evaluar la selección del modelo es la consistencia de la selección, lo que significa que el candidato más robusto será seleccionado de manera consistente si se obtienen suficientes muestras de datos.
La segunda dirección es elegir un modelo como maquinaria para ofrecer un excelente rendimiento predictivo. Para este último, sin embargo, el modelo seleccionado puede ser simplemente el afortunado ganador entre unos pocos competidores cercanos, sin embargo, el rendimiento predictivo puede ser el mejor posible. Si es así, la selección del modelo está bien para el segundo objetivo (predicción), pero el uso del modelo seleccionado para la comprensión y la interpretación puede ser muy poco confiable y engañoso. [2] Además, para modelos muy complejos seleccionados de esta manera, incluso las predicciones pueden no ser razonables para datos solo ligeramente diferentes de aquellos en los que se realizó la selección. [3]
Métodos para ayudar a elegir el conjunto de modelos candidatos
Criterios
A continuación se muestra una lista de criterios para la selección del modelo. Los criterios más comúnmente utilizados son (i) el criterio de información de Akaike y (ii) el factor Bayes y / o el criterio de información Bayesiano (que en cierta medida se aproxima al factor Bayes), ver Stoica y Selen (2004) para una revisión.
- Criterio de información de Akaike (AIC), una medida del ajuste de bondad de un modelo estadístico estimado
- Factor de Bayes
- Criterio de información bayesiano (BIC), también conocido como criterio de información de Schwarz, un criterio estadístico para la selección del modelo
- Criterio puente (BC), un criterio estadístico que puede lograr el mejor rendimiento de AIC y BIC a pesar de la idoneidad de la especificación del modelo. [4]
- Validación cruzada
- Criterio de información de desviación (DIC), otro criterio de selección de modelo orientado bayesiano
- Tasa de falsos descubrimientos
- Criterio de información enfocada (FIC), un criterio de selección que clasifica los modelos estadísticos por su efectividad para un parámetro de enfoque dado
- Criterio de información de Hannan-Quinn , una alternativa a los criterios de Akaike y Bayesiano
- El criterio de información Kashyap (KIC) es una poderosa alternativa a AIC y BIC, porque KIC utiliza la matriz de información de Fisher
- Prueba de razón de verosimilitud
- C p de malvas
- Longitud mínima de la descripción
- Longitud mínima del mensaje (MML)
- Estadística PRENSA , también conocida como criterio PRENSA
- Minimización de riesgos estructurales
- Regresión escalonada
- Criterio de información de Watanabe-Akaike (WAIC), también denominado criterio de información de amplia aplicación
- El criterio de información bayesiano extendido (EBIC) es una extensión del criterio de información bayesiano ordinario (BIC) para modelos con espacios de parámetros altos.
- El criterio de información extendido de Fisher (EFIC) es un criterio de selección de modelo para modelos de regresión lineal.
Entre estos criterios, la validación cruzada suele ser la más precisa y computacionalmente la más cara para los problemas de aprendizaje supervisado. [ cita requerida ]
Burnham y Anderson (2002 , §6.3) dicen lo siguiente:
Existe una variedad de métodos de selección de modelos. Sin embargo, desde el punto de vista del rendimiento estadístico de un método y el contexto previsto de su uso, solo hay dos clases distintas de métodos: Estos han sido etiquetados como eficientes y consistentes . (...) Bajo el paradigma frecuentista para la selección de modelos, uno generalmente tiene tres enfoques principales: (I) optimización de algunos criterios de selección, (II) pruebas de hipótesis y (III) métodos ad hoc.
Ver también
- Todos los modelos están mal
- Análisis de hipótesis en competencia
- Aprendizaje automático automatizado (AutoML)
- Dilema de sesgo-varianza
- Selección de características
- La paradoja de Freedman
- Búsqueda de cuadrícula
- Análisis de identificabilidad
- Análisis log-lineal
- Identificación del modelo
- La navaja de Occam
- Diseño optimo
- Problema de identificación de parámetros
- Modelado científico
- Validación del modelo estadístico
- La paradoja de Stein
Notas
- ^ Shirangi, Mehrdad G .; Durlofsky, Louis J. (2016). "Un método general para seleccionar modelos representativos para la toma de decisiones y optimización en condiciones de incertidumbre". Informática y Geociencias . 96 : 109-123. Código Bib : 2016CG ..... 96..109S . doi : 10.1016 / j.cageo.2016.08.002 .
- ^ a b Ding, Jie; Tarokh, Vahid; Yang, Yuhong (2018). "Técnicas de selección de modelos: una descripción general" . Revista de procesamiento de señales IEEE . 35 (6): 16–34. arXiv : 1810.09583 . doi : 10.1109 / MSP.2018.2867638 . ISSN 1053-5888 . S2CID 53035396 .
- ^ Su, J .; Vargas, DV; Sakurai, K. (2019). "Ataque de un píxel para engañar a las redes neuronales profundas". Transacciones IEEE sobre Computación Evolutiva . 23 (5): 828–841. arXiv : 1710.08864 . doi : 10.1109 / TEVC.2019.2890858 .
- ^ Ding, J .; Tarokh, V .; Yang, Y. (junio de 2018). "Puentear AIC y BIC: un nuevo criterio para la autorregresión" . Transacciones IEEE sobre teoría de la información . 64 (6): 4024–4043. arXiv : 1508.02473 . doi : 10.1109 / TIT.2017.2717599 . ISSN 1557-9654 . S2CID 5189440 .
Referencias
- Aho, K .; Derryberry, D .; Peterson, T. (2014), "Selección de modelos para ecologistas: las visiones del mundo de AIC y BIC", Ecology , 95 (3): 631–636, doi : 10.1890 / 13-1452.1 , PMID 24804445
- Akaike, H. (1994), "Implications of informational point of view on the development of Statistical science", en Bozdogan, H. (ed.), Proceedings of the First US / JAPAN Conference on The Frontiers of Statistical Modeling: An Informational Enfoque — Volumen 3 , Kluwer Academic Publishers , págs. 27–38
- Anderson, DR (2008), Inferencia basada en modelos en las ciencias biológicas, Springer, ISBN 9780387740751
- Ando, T. (2010), Selección de modelos bayesianos y modelado estadístico , CRC Press , ISBN 9781439836156
- Breiman, L. (2001), "Modelado estadístico: las dos culturas", Statistical Science , 16 : 199-231, doi : 10.1214 / ss / 1009213726
- Burnham, KP; Anderson, DR (2002), Selección de modelos e inferencia multimodelo: un enfoque práctico de la teoría de la información (2a ed.), Springer-Verlag, ISBN 0-387-95364-7[esto tiene más de 38000 citas en Google Académico ]
- Chamberlin, TC (1890), "El método de múltiples hipótesis de trabajo", Science , 15 (366): 92–6, Bibcode : 1890Sci .... 15R..92. , doi : 10.1126 / science.ns-15.366.92 , PMID 17782687(reimpreso en 1965, Science 148: 754–759 [1] doi : 10.1126 / science.148.3671.754 )
- Claeskens, G. (2016), "Elección del modelo estadístico" (PDF) , Revisión anual de las estadísticas y su aplicación , 3 (1): 233–256, Código bibliográfico : 2016AnRSA ... 3..233C , doi : 10.1146 / annurev -estadísticas-041715-033413[ enlace muerto permanente ]
- Claeskens, G .; Hjort, NL (2008), Selección de modelos y promedios de modelos , Cambridge University Press, ISBN 9781139471800
- Cox, RD (2006), Principios de inferencia estadística , Cambridge University Press
- Kashyap, RL (1982), "Elección óptima de partes AR y MA en modelos de promedio móvil autorregresivos", Transacciones IEEE sobre análisis de patrones e inteligencia de máquinas , IEEE, PAMI-4 (2): 99-104, doi : 10.1109 / TPAMI. 1982.4767213 , PMID 21869012 , S2CID 18484243
- Konishi, S .; Kitagawa, G. (2008), Criterios de información y modelado estadístico , Springer, Bibcode : 2007icsm.book ..... K , ISBN 9780387718866
- Lahiri, P. (2001), Selección de modelos , Instituto de Estadística Matemática
- Leeb, H .; Pötscher, BM (2009), "Model selection", en Anderson, TG (ed.), Handbook of Financial Time Series , Springer, págs. 889–925, doi : 10.1007 / 978-3-540-71297-8_39 , ISBN 978-3-540-71296-1
- Lukacs, PM; Thompson, WL; Kendall, WL; Gould, WR; Doherty, PF Jr .; Burnham, KP; Anderson, DR (2007), "Preocupaciones sobre un llamado al pluralismo de la teoría de la información y la prueba de hipótesis", Journal of Applied Ecology , 44 (2): 456–460, doi : 10.1111 / j.1365-2664.2006.01267.x
- McQuarrie, Allan DR; Tsai, Chih-Ling (1998), Regresión y selección de modelos de series de tiempo , Singapur: World Scientific, ISBN 981-02-3242-X
- Massart, P. (2007), Desigualdades de concentración y selección de modelos , Springer
- Massart, P. (2014), "Un paseo no asintótico en probabilidad y estadística" , en Lin, Xihong (ed.), Past, Present, and Future of Statistical Science , Chapman & Hall , págs. 309–321, ISBN 9781482204988
- Navarro, DJ (2019), "Entre el diablo y el mar azul profundo: tensiones entre el juicio científico y la selección del modelo estadístico", Computational Brain & Behavior , 2 : 28–34, doi : 10.1007 / s42113-018-0019-z
- Resende, Paulo Angelo Alves; Dorea, Chang Chung Yu (2016), "Identificación del modelo utilizando el criterio de determinación eficiente", Journal of Multivariate Analysis , 150 : 229–244, arXiv : 1409.7441 , doi : 10.1016 / j.jmva.2016.06.002 , S2CID 5469654
- Shmueli, G. (2010), "¿Explicar o predecir?" , Ciencia estadística , 25 (3): 289–310, arXiv : 1101.0891 , doi : 10.1214 / 10-STS330 , MR 2791669 , S2CID 15900983
- Stoica, P .; Selen, Y. (2004), "Selección de orden de modelo: una revisión de las reglas de criterio de información" (PDF) , IEEE Signal Processing Magazine , 21 (4): 36–47
- Wit, E .; van den Heuvel, E .; Romeijn, J.-W. (2012), " ' Todos los modelos son incorrectos ...': una introducción a la incertidumbre del modelo" (PDF) , Statistica Neerlandica , 66 (3): 217–236, doi : 10.1111 / j.1467-9574.2012.00530.x
- Wit, E .; McCullagh, P. (2001), Viana, MAG; Richards, D. St. P. (eds.), "La extensibilidad de los modelos estadísticos", Métodos algebraicos en estadística y probabilidad , págs. 327–340
- Wójtowicz, Anna; Bigaj, Tomasz (2016), "Justificación, confirmación y el problema de hipótesis mutuamente excluyentes", en Kuźniar, Adrian; Odrowąż-Sypniewska, Joanna (eds.), Descubriendo hechos y valores , Brill Publishers , págs. 122–143, doi : 10.1163 / 9789004312654_009 , ISBN 9789004312654
- Owrang, Arash; Jansson, Magnus (2018), "A Model Selection Criterion for High-Dimensional Linear Regression" , IEEE Transactions on Signal Processing , 66 (13): 3436–3446, Bibcode : 2018ITSP ... 66.3436O , doi : 10.1109 / TSP. 2018.2821628 , ISSN 1941-0476 , S2CID 46931136