En estadística , la validación del modelo es la tarea de confirmar que los resultados de un modelo estadístico son aceptables con respecto al proceso real de generación de datos. En otras palabras, la validación del modelo es la tarea de confirmar que las salidas de un modelo estadístico tienen suficiente fidelidad a las salidas del proceso de generación de datos para que se puedan alcanzar los objetivos de la investigación.
Descripción general
La validación del modelo puede basarse en dos tipos de datos: datos que se utilizaron en la construcción del modelo y datos que no se utilizaron en la construcción. La validación basada en el primer tipo generalmente implica analizar la bondad de ajuste del modelo o analizar si los residuos parecen ser aleatorios (es decir, diagnósticos de residuos ). La validación basada en el segundo tipo generalmente implica analizar si el rendimiento predictivo del modelo se deteriora de manera no despreciable cuando se aplica a nuevos datos pertinentes.
La validación basada solo en el primer tipo (datos que se utilizaron en la construcción del modelo) a menudo es inadecuada. Un ejemplo extremo se ilustra en la Figura 1. La figura muestra datos (puntos negros) que se generaron a través de una línea recta + ruido. La figura también muestra una curva, que es un polinomio elegido para ajustarse perfectamente a los datos. Los residuos de la curva son todos cero. Por lo tanto, la validación basada solo en el primer tipo de datos concluiría que la curva era un buen modelo. Sin embargo, la curva es obviamente un modelo pobre: la interpolación, especialmente entre -5 y -4, tenderá a ser muy engañosa; además, cualquier extrapolación sustancial sería mala.
Por lo tanto, la validación generalmente no se basa en considerar únicamente los datos que se utilizaron en la construcción del modelo; más bien, la validación generalmente también emplea datos que no se utilizaron en la construcción. En otras palabras, la validación generalmente incluye probar algunas de las predicciones del modelo.
Un modelo se puede validar solo en relación con algún área de aplicación. [1] [2] Un modelo que es válido para una aplicación puede no ser válido para otras aplicaciones. Como ejemplo, considere la curva de la Figura 1: si la aplicación solo usó entradas del intervalo [0, 2], entonces la curva podría ser un modelo aceptable.
Métodos de validación
Al hacer una validación, hay tres causas notables de dificultad potencial, según la Enciclopedia de Ciencias Estadísticas . [3] Las tres causas son las siguientes: falta de datos; falta de control de las variables de entrada; incertidumbre acerca de las correlaciones y distribuciones de probabilidad subyacentes. Los métodos habituales para hacer frente a las dificultades de validación incluyen los siguientes: comprobar las suposiciones hechas al construir el modelo; examinar los datos disponibles y los resultados del modelo relacionados; aplicando el juicio de expertos. [1] Tenga en cuenta que el juicio de expertos generalmente requiere experiencia en el área de aplicación. [1]
A veces se puede utilizar el juicio de expertos para evaluar la validez de una predicción sin obtener datos reales: por ejemplo, para la curva de la Figura 1, un experto podría muy bien evaluar que una extrapolación sustancial no será válida. Además, el juicio de expertos se puede utilizar en las pruebas de tipo Turing , donde a los expertos se les presentan tanto datos reales como resultados de modelos relacionados y luego se les pide que distingan entre los dos. [4]
Para algunas clases de modelos estadísticos, se encuentran disponibles métodos especializados para realizar la validación. Por ejemplo, si el modelo estadístico se obtuvo mediante una regresión , entonces existen y generalmente se emplean análisis especializados para la validación del modelo de regresión .
Diagnóstico residual
Los diagnósticos de residuos comprenden análisis de los residuos para determinar si los residuos parecen ser efectivamente aleatorios. Estos análisis normalmente requieren estimaciones de las distribuciones de probabilidad de los residuos. Las estimaciones de las distribuciones de los residuos a menudo se pueden obtener ejecutando repetidamente el modelo, es decir, utilizando simulaciones estocásticas repetidas (empleando un generador de números pseudoaleatorios para las variables aleatorias en el modelo).
Si el modelo estadístico se obtuvo mediante una regresión, entonces existen diagnósticos de regresión-residuales y pueden usarse; tales diagnósticos han sido bien estudiados.
Ver también
- Todos los modelos están mal
- Validación cruzada (estadísticas)
- Análisis de identificabilidad
- Validez interna
- Identificación del modelo
- Sobreajuste
- Modelo predictivo
- Análisis de sensibilidad
- Relación espuria
- Validez de la conclusión estadística
- Selección de modelo estadístico
- Especificación del modelo estadístico
- Validez (estadísticas)
Referencias
- ^ a b c Consejo Nacional de Investigación (2012), "Capítulo 5: Validación y predicción de modelos" , Evaluación de la confiabilidad de modelos complejos: Fundamentos matemáticos y estadísticos de verificación, validación y cuantificación de la incertidumbre , Washington, DC: National Academies Press , págs. 52–85CS1 maint: varios nombres: lista de autores ( enlace ).
- ^ Batzel, JJ; Bachar, M .; Karemaker, JM; Kappel, F. (2013), "Capítulo 1: Fusionar conocimiento matemático y fisiológico", en Batzel, JJ; Bachar, M .; Kappel, F. (eds.), Modelado matemático y validación en fisiología , Springer , págs. 3-19, doi : 10.1007 / 978-3-642-32882-4_1.
- ^ Deaton, ML (2006), "Modelos de simulación, validación de", en Kotz, S .; et al. (eds.), Enciclopedia de Ciencias Estadísticas , Wiley.
- ^ Mayer, DG; Butler, DG (1993), "Validación estadística", Modelado ecológico , 68 : 21–32, doi : 10.1016 / 0304-3800 (93) 90105-2.
Otras lecturas
- Barlas, Y. (1996), "Aspectos formales de la validez y validación del modelo en la dinámica de sistemas", System Dynamics Review , 12 : 183–210, doi : 10.1002 / (SICI) 1099-1727 (199623) 12: 3 <183: : AID-SDR103> 3.0.CO; 2-4
- Bien, PI ; Hardin, JW (2012), "Capítulo 15: Validación", Errores comunes en estadística (Cuarta ed.), John Wiley & Sons , págs. 277–285
- Huber, PJ (2002), "Capítulo 3: Modelos aproximados", en Huber-Carol, C .; Balakrishnan, N .; Nikulin, MS; Mesbah, M. (eds.), Pruebas de bondad de ajuste y validez del modelo , Springer , págs. 25–41
enlaces externos
- ¿Cómo puedo saber si un modelo se ajusta a mis datos? - Manual de métodos estadísticos ( NIST )
- Hicks, Dan (14 de julio de 2017). "¿Cuáles son las principales técnicas de validación de modelos estadísticos?" . Stack Exchange .