Hay dos usos principales del término calibración en estadística que denotan tipos especiales de problemas de inferencia estadística. "Calibración" puede significar
- un proceso inverso a la regresión , donde en lugar de predecir una variable dependiente futura a partir de variables explicativas conocidas, se utiliza una observación conocida de las variables dependientes para predecir una variable explicativa correspondiente; [1]
- procedimientos de clasificación estadística para determinar las probabilidades de pertenencia a clases que evalúan la incertidumbre de una nueva observación dada perteneciente a cada una de las clases ya establecidas.
Además, "calibración" se utiliza en estadística con el significado general habitual de calibración . Por ejemplo, la calibración del modelo también se puede utilizar para hacer referencia a la inferencia bayesiana sobre el valor de los parámetros de un modelo, dado algún conjunto de datos, o más generalmente a cualquier tipo de ajuste de un modelo estadístico . Como dice Philip Dawid , "un pronosticador está bien calibrado si, por ejemplo, de aquellos eventos a los que asigna una probabilidad del 30 por ciento, la proporción a largo plazo que realmente ocurre resulta ser del 30 por ciento". [2]
En regresión
El problema de calibración en la regresión es el uso de datos conocidos sobre la relación observada entre una variable dependiente y una variable independiente para hacer estimaciones de otros valores de la variable independiente a partir de nuevas observaciones de la variable dependiente. [3] [4] [5] Esto se puede conocer como "regresión inversa": [6] ver también regresión inversa cortada .
Un ejemplo es el de fechar objetos, utilizando evidencia observable como los anillos de los árboles para la dendrocronología o el carbono-14 para la datación radiométrica . La observación se debe a la edad del objeto que se está fechando, y no al revés, y el objetivo es utilizar el método para estimar fechas en función de nuevas observaciones. El problema es si el modelo utilizado para relacionar edades conocidas con observaciones debe tener como objetivo minimizar el error en la observación o minimizar el error en la fecha. Los dos enfoques producirán resultados diferentes y la diferencia aumentará si el modelo se utiliza para extrapolar a cierta distancia de los resultados conocidos.
En clasificación
La calibración en la clasificación significa convertir las puntuaciones del clasificador de transformación en probabilidades de pertenencia a una clase . Gebel (2009) ofrece una descripción general de los métodos de calibración para tareas de clasificación de dos y varias clases . [7]
Existen los siguientes métodos de calibración univariante para transformar las puntuaciones del clasificador en probabilidades de pertenencia a una clase en el caso de dos clases:
- Enfoque de asignación de valor, véase Garczarek (2002) [8]
- Enfoque de Bayes, véase Bennett (2002) [9]
- Regresión isotónica , ver Zadrozny y Elkan (2002) [10]
- Escala de Platt (una forma de regresión logística ), ver Lewis y Gale (1994) [11] y Platt (1999) [12]
- Calibración Bayesian Binning into Quantiles (BBQ), ver Naeini, Cooper, Hauskrecht (2015) [13]
- Calibración beta, consulte Kull, Filho, Flach (2017) [14]
Existen los siguientes métodos de calibración multivariante para transformar las puntuaciones del clasificador en probabilidades de pertenencia a una clase en el caso de que las clases cuenten más de dos:
En predicción y pronóstico
En la predicción y el pronóstico , a veces se usa una puntuación de Brier para evaluar la precisión de la predicción de un conjunto de predicciones, específicamente que la magnitud de las probabilidades asignadas rastrea la frecuencia relativa de los resultados observados. Philip E. Tetlock emplea el término "calibración" en este sentido [16] en su libro Superforecasting de 2015 .
Esto difiere de la exactitud y la precisión . Por ejemplo, como lo expresó Daniel Kahneman , "si le da a todos los eventos que suceden una probabilidad de .6 y a todos los eventos que no suceden una probabilidad de .4, su discriminación es perfecta pero su calibración es miserable". [dieciséis]
La Estimación Contingente Agregada fue un programa de la Oficina de Análisis Incisivo (OIA) en la Actividad de Proyectos de Investigación Avanzada de Inteligencia (IARPA) que patrocinó torneos de investigación y pronóstico en asociación con The Good Judgment Project , co-creado por Philip E. Tetlock, Barbara Mellers y Don Moore.
En meteorología , en particular, en lo que respecta al pronóstico del tiempo , un modo de evaluación relacionado se conoce como habilidad de pronóstico .
Ver también
- Calibración
- Evaluación de probabilidad calibrada: probabilidades subjetivas asignadas de una manera que históricamente representa su incertidumbre.
Referencias
- ^ Upton, G, Cook, I. (2006) Diccionario de estadística de Oxford , OUP. ISBN 978-0-19-954145-4
- ^ Dawid, A. P (1982). "El bayesiano bien calibrado". Revista de la Asociación Estadounidense de Estadística . 77 (379): 605–610. doi : 10.1080 / 01621459.1982.10477856 .
- ^ Brown, PJ (1994) Medición, regresión y calibración , OUP. ISBN 0-19-852245-2
- ^ Ng, KH, Pooi, AH (2008) "Intervalos de calibración en modelos de regresión lineal", Comunicaciones en estadística: teoría y métodos , 37 (11), 1688-1696. [1]
- ^ Hardin, JW, Schmiediche, H., Carroll, RJ (2003) "El método de regresión-calibración para ajustar modelos lineales generalizados con error de medición aditivo", Stata Journal , 3 (4), 361-372. enlace , pdf
- ^ Draper, NL, Smith, H. (1998) Análisis de regresión aplicada, 3ª edición , Wiley. ISBN 0-471-17082-8
- ^ a b Gebel, Martín (2009). Calibración multivariante de las puntuaciones del clasificador en el espacio de probabilidad (PDF) (tesis doctoral). Universidad de Dortmund.
- ^ UM Garczarek " [2] Archivado el 23 de noviembre de 2004en la Wayback Machine ," Reglas de clasificación en espacios de partición estandarizados, Disertación, Universität Dortmund, 2002
- ^ PN Bennett, Uso de distribuciones asimétricas para mejorar las estimaciones de probabilidad del clasificador de texto: una comparación de métodos paramétricos nuevos y estándar, Informe técnico CMU-CS-02-126, Carnegie Mellon, Escuela de Ciencias de la Computación, 2002.
- ^ B. Zadrozny y C. Elkan, Transformación de las puntuaciones del clasificador en estimaciones precisas de probabilidad multiclase. En: Actas de la Octava Conferencia Internacional sobre Descubrimiento del Conocimiento y Minería de Datos, 694–699, Edmonton, ACM Press, 2002.
- ^ DD Lewis y WA Gale, un algoritmo secuencial para entrenar clasificadores de texto. En: WB Croft y CJ van Rijsbergen (eds.), Actas de la 17ª Conferencia Anual Internacional ACM SIGIR sobre Investigación y Desarrollo en Recuperación de Información (SIGIR '94), 3–12. Nueva York, Springer-Verlag, 1994.
- ^ JC Platt, Salidas probabilísticas para máquinas de vectores de soporte y comparaciones con métodos de verosimilitud regularizados. En: AJ Smola, P. Bartlett, B. Schölkopf y D. Schuurmans (eds.), Advances in Large Margin Classiers, 61–74. Cambridge, MIT Press, 1999.
- ^ Naeini MP, Cooper GF, Hauskrecht M. Obtención de probabilidades bien calibradas mediante intervalos bayesianos. Actas del. Conferencia AAAI sobre Inteligencia Artificial Conferencia AAAI sobre Inteligencia Artificial. 2015; 2015: 2901-2907.
- ^ Meelis Kull, Telmo Silva Filho, Peter Flach; Actas de la 20a Conferencia Internacional sobre Inteligencia Artificial y Estadísticas, PMLR 54: 623-631, 2017.
- ^ T. Hastie y R. Tibshirani, " [3] ," Clasificación por acoplamiento por pares. En: MI Jordan, MJ Kearns y SA Solla (eds.), Advances in Neural Information Processing Systems, volumen 10, Cambridge, MIT Press, 1998.
- ^ a b "Edge Master Class 2015: Un curso corto en Superpronostica, Clase II" . edge.org . Fundación Edge. 24 de agosto de 2015 . Consultado el 13 de abril de 2018 .
La calibración es cuando digo que hay un 70 por ciento de probabilidad de que algo suceda, las cosas suceden el 70 por ciento de las veces.