Fuentes: Fawcett (2006), [1] Piryonesi y El-Diraby (2020), [2] Powers (2011), [3] Ting (2011), [4] CAWCR, [5] D. Chicco & G. Jurman (2020, 2021) , [6] [7] Tharwat (2018). [8] |
En el campo del aprendizaje automático y específicamente el problema de la clasificación estadística , una matriz de confusión , también conocida como matriz de error, [9] es un diseño de tabla específico que permite la visualización del rendimiento de un algoritmo, típicamente uno de aprendizaje supervisado (en aprendizaje no supervisado por lo general se denomina matriz de emparejamiento ). Cada fila de la matriz representa las instancias en una clase real, mientras que cada columna representa las instancias en una clase predicha, o viceversa; ambas variantes se encuentran en la literatura. [10] El nombre proviene del hecho de que facilita ver si el sistema está confundiendo dos clases (es decir, comúnmente etiquetado erróneamente una como otra).
Es un tipo especial de tabla de contingencia , con dos dimensiones ("real" y "predicha"), y conjuntos idénticos de "clases" en ambas dimensiones (cada combinación de dimensión y clase es una variable en la tabla de contingencia).
Ejemplo
Dada una muestra de 12 imágenes, 8 de gatos y 4 de perros, donde los gatos pertenecen a la clase 1 y los perros a la clase 0,
- actual = [1,1,1,1,1,1,1,1,0,0,0,0],
Supongamos que se entrena un clasificador que distingue entre gatos y perros, y tomamos las 12 imágenes y las pasamos por el clasificador, y el clasificador hace 9 predicciones precisas y omite 3: 2 gatos predichos erróneamente como perros (primeras 2 predicciones) y 1 perro mal predicho como gato (última predicción).
- predicción = [0,0,1,1,1,1,1,1,0,0,0,1]
Con estos dos conjuntos etiquetados (real y predicciones) podemos crear una matriz de confusión que resumirá los resultados de probar el clasificador:
Clase prevista Clase real | Gato | Perro |
---|---|---|
Gato | 6 | 2 |
Perro | 1 | 3 |
En esta matriz de confusión, de las 8 imágenes de gatos, el sistema juzgó que 2 eran perros, y de las 4 imágenes de perros, predijo que 1 eran gatos. Todas las predicciones correctas están ubicadas en la diagonal de la tabla (resaltadas en negrita), por lo que es fácil inspeccionar visualmente la tabla en busca de errores de predicción, ya que estarán representados por valores fuera de la diagonal.
En términos de sensibilidad y especificidad , la matriz de confusión es la siguiente:
Clase prevista Clase real | PAG | norte |
---|---|---|
PAG | TP | FN |
norte | FP | Tennesse |
Tabla de confusión
En el análisis predictivo , una tabla de confusión (a veces también llamada matriz de confusión ) es una tabla con dos filas y dos columnas que informa el número de falsos positivos , falsos negativos , verdaderos positivos y verdaderos negativos . Esto permite un análisis más detallado que la mera proporción de clasificaciones correctas (precisión). La precisión producirá resultados engañosos si el conjunto de datos está desequilibrado; es decir, cuando el número de observaciones en diferentes clases varía mucho. Por ejemplo, si hubiera 95 gatos y solo 5 perros en los datos, un clasificador particular podría clasificar todas las observaciones como gatos. La precisión general sería del 95%, pero con más detalle, el clasificador tendría una tasa de reconocimiento ( sensibilidad ) del 100% para la clase de gatos, pero una tasa de reconocimiento del 0% para la clase de perros. El puntaje F1 es aún menos confiable en tales casos, y aquí arrojaría más del 97.4%, mientras que la información elimina ese sesgo y arroja 0 como la probabilidad de una decisión informada para cualquier forma de adivinar (aquí siempre adivinar gato). La matriz de confusión no se limita a la clasificación binaria y también se puede utilizar en clasificadores de clases múltiples. [11]
Según Davide Chicco y Giuseppe Jurman, la métrica más informativa para evaluar una matriz de confusión es el coeficiente de correlación de Matthews (MCC) . [12]
Suponiendo la matriz de confusión anterior, su tabla de confusión correspondiente, para la clase cat, sería:
Clase prevista Clase real | Gato | No gato |
---|---|---|
Gato | 6 verdaderos positivos | 2 falsos negativos |
No gato | 1 falso positivo | 3 verdaderos negativos |
La tabla final de confusión contendría los valores promedio de todas las clases combinadas.
Definamos un experimento a partir de P casos positivos y N casos negativos para alguna condición. Los cuatro resultados se pueden formular en una matriz de confusión de 2 × 2 , de la siguiente manera:
Condición prevista | Fuentes: [13] [14] [15] [16] [17] [18] [19] [20] | |||||
Población total = P + N | Condición prevista positiva (PP) | Condición prevista negativa (NP) | Información, información de la casa de apuestas (BM) = TPR + TNR - 1 | Umbral de prevalencia (PT) =√ TPR · FPR - FPR/TPR - FPR | ||
Condición real positiva (P) | Verdadero positivo (TP) , golpear | Falso negativo (FN) , error de tipo II , error , sobreestimación | Tasa de verdaderos positivos (TPR), recuperación , sensibilidad (SEN), probabilidad de detección, tasa de aciertos, potencia = TP/PAG = 1 - FNR | Tasa de falsos negativos (FNR), tasa de fallas = FN/PAG = 1 - TPR | ||
Condición real negativa (N) | Falso positivo (FP) , error de tipo I , falsa alarma, subestimación | Verdadero negativo (TN) , rechazo correcto | Tasa de falsos positivos (FPR), probabilidad de falsa alarma, caída = FP/norte = 1 - TNR | Tasa de verdaderos negativos (TNR), especificidad (SPC), selectividad = Tennesse/norte = 1 - FPR | ||
Prevalencia = PAG/P + N | Valor predictivo positivo (VPP), precisión = TP/PÁGINAS = 1 - FDR | Tasa de falsas omisiones (FOR) = FN/PN = 1 - VPN | Razón de probabilidad positiva (LR +) = TPR/FPR | Razón de verosimilitud negativa (LR−) = FNR/TNR | ||
Precisión (ACC) = TP + TN/P + N | Tasa de descubrimiento falso (FDR) = FP/PÁGINAS = 1 - PPV | Valor predictivo negativo (VPN) = Tennesse/PN = 1 - PARA | Marcado (MK), deltaP (Δp) = PPV + NPV - 1 | Razón de posibilidades de diagnóstico (DOR) = LR +/LR− | ||
Precisión equilibrada (BA) = TPR + TNR/2 | Puntuación F 1 =2 · PPV · TPR/PPV + TPR = 2TP/2TP + FP + FN | Índice de aves de corral-malvas (FM) = √ PPV · TPR | Coeficiente de correlación de Matthews (MCC) = √ TPR · TNR · PPV · NPV - √ FNR · FPR · FOR · FDR | Puntuación de amenaza (TS), índice de éxito crítico (CSI) = TP/TP + FN + FP |
Matrices de confusión con más de dos categorías
Las matrices de confusión discutidas anteriormente tienen solo dos condiciones: positiva y negativa. En algunos campos, las matrices de confusión pueden tener más categorías. Por ejemplo, la siguiente tabla resume la comunicación de un idioma silbado entre dos hablantes, los valores cero se omiten para mayor claridad. [21]
La percepción de la vocal Vocal producida | I | mi | a | o | tu |
---|---|---|---|---|---|
I | 15 | 1 | |||
mi | 1 | 1 | |||
a | 79 | 5 | |||
o | 4 | 15 | 3 | ||
tu | 2 | 2 |
Ver también
- Valores predictivos positivos y negativos
Referencias
- ^ Fawcett, Tom (2006). "Una introducción al análisis ROC" (PDF) . Cartas de reconocimiento de patrones . 27 (8): 861–874. doi : 10.1016 / j.patrec.2005.10.010 .
- ^ Piryonesi S. Madeh; El-Diraby Tamer E. (1 de marzo de 2020). "Análisis de datos en la gestión de activos: predicción rentable del índice de condición del pavimento". Revista de sistemas de infraestructura . 26 (1): 04019036. doi : 10.1061 / (ASCE) IS.1943-555X.0000512 .
- ^ Powers, David MW (2011). "Evaluación: de precisión, recuperación y medida F a ROC, información, marca y correlación" . Revista de tecnologías de aprendizaje automático . 2 (1): 37–63.
- ^ Ting, Kai Ming (2011). Sammut, Claude; Webb, Geoffrey I. (eds.). Enciclopedia de aprendizaje automático . Saltador. doi : 10.1007 / 978-0-387-30164-8 . ISBN 978-0-387-30164-8.
- ^ Brooks, Harold; Marrón, púa; Ebert, Beth; Ferro, Chris; Jolliffe, Ian; Koh, Tieh-Yong; Roebber, Paul; Stephenson, David (26 de enero de 2015). "Grupo de trabajo conjunto WWRP / WGNE sobre investigación de verificación de pronósticos" . Colaboración para la investigación meteorológica y climática de Australia . Organización Meteorológica Mundial . Consultado el 17 de julio de 2019 .
- ^ Chicco D., Jurman G. (enero de 2020). "Las ventajas del coeficiente de correlación de Matthews (MCC) sobre la puntuación F1 y la precisión en la evaluación de clasificación binaria" . BMC Genomics . 21 (1): 6-1–6-13. doi : 10.1186 / s12864-019-6413-7 . PMC 6941312 . PMID 31898477 .Mantenimiento de CS1: utiliza el parámetro de autores ( enlace )
- ^ Chicco D., Toetsch N., Jurman G. (febrero de 2021). "El coeficiente de correlación de Matthews (MCC) es más confiable que la precisión equilibrada, la información de las casas de apuestas y la marcación en la evaluación de la matriz de confusión de dos clases" . Minería de Biodatos . 14 (13): 1-22. doi : 10.1186 / s13040-021-00244-z . PMC 7863449 . PMID 33541410 .Mantenimiento de CS1: utiliza el parámetro de autores ( enlace )
- ^ Tharwat A. (agosto de 2018). "Métodos de evaluación de clasificación" . Informática y Computación Aplicada . doi : 10.1016 / j.aci.2018.08.003 .
- ^ Stehman, Stephen V. (1997). "Selección e interpretación de medidas de precisión de clasificación temática". Teledetección del Medio Ambiente . 62 (1): 77–89. Código Bibliográfico : 1997RSEnv..62 ... 77S . doi : 10.1016 / S0034-4257 (97) 00083-7 .
- ^ Powers, David MW (2011). "Evaluación: de precisión, recuperación y medida F a ROC, información, marca y correlación" . Revista de tecnologías de aprendizaje automático . 2 (1): 37–63. S2CID 55767944 .
- ^ a b Piryonesi S. Madeh; El-Diraby Tamer E. (1 de marzo de 2020). "Análisis de datos en la gestión de activos: predicción rentable del índice de condición del pavimento". Revista de sistemas de infraestructura . 26 (1): 04019036. doi : 10.1061 / (ASCE) IS.1943-555X.0000512 .
- ^ Chicco D., Jurman G. (enero de 2020). "Las ventajas del coeficiente de correlación de Matthews (MCC) sobre la puntuación F1 y la precisión en la evaluación de clasificación binaria" . BMC Genomics . 21 (1): 6-1–6-13. doi : 10.1186 / s12864-019-6413-7 . PMC 6941312 . PMID 31898477 .Mantenimiento de CS1: utiliza el parámetro de autores ( enlace )
- ^ Fawcett, Tom (2006). "Una introducción al análisis ROC" (PDF) . Cartas de reconocimiento de patrones . 27 (8): 861–874. doi : 10.1016 / j.patrec.2005.10.010 .
- ^ Piryonesi S. Madeh; El-Diraby Tamer E. (1 de marzo de 2020). "Análisis de datos en la gestión de activos: predicción rentable del índice de condición del pavimento". Revista de sistemas de infraestructura . 26 (1): 04019036. doi : 10.1061 / (ASCE) IS.1943-555X.0000512 .
- ^ Powers, David MW (2011). "Evaluación: de precisión, recuperación y medida F a ROC, información, marca y correlación" . Revista de tecnologías de aprendizaje automático . 2 (1): 37–63.
- ^ Ting, Kai Ming (2011). Sammut, Claude; Webb, Geoffrey I. (eds.). Enciclopedia de aprendizaje automático . Saltador. doi : 10.1007 / 978-0-387-30164-8 . ISBN 978-0-387-30164-8.
- ^ Brooks, Harold; Marrón, púa; Ebert, Beth; Ferro, Chris; Jolliffe, Ian; Koh, Tieh-Yong; Roebber, Paul; Stephenson, David (26 de enero de 2015). "Grupo de trabajo conjunto WWRP / WGNE sobre investigación de verificación de pronósticos" . Colaboración para la investigación meteorológica y climática de Australia . Organización Meteorológica Mundial . Consultado el 17 de julio de 2019 .
- ^ Chicco D., Jurman G. (enero de 2020). "Las ventajas del coeficiente de correlación de Matthews (MCC) sobre la puntuación F1 y la precisión en la evaluación de clasificación binaria" . BMC Genomics . 21 (1): 6-1–6-13. doi : 10.1186 / s12864-019-6413-7 . PMC 6941312 . PMID 31898477 .Mantenimiento de CS1: utiliza el parámetro de autores ( enlace )
- ^ Chicco D., Toetsch N., Jurman G. (febrero de 2021). "El coeficiente de correlación de Matthews (MCC) es más confiable que la precisión equilibrada, la información de las casas de apuestas y la marcación en la evaluación de la matriz de confusión de dos clases" . Minería de Biodatos . 14 (13): 1-22. doi : 10.1186 / s13040-021-00244-z . PMC 7863449 . PMID 33541410 .Mantenimiento de CS1: utiliza el parámetro de autores ( enlace )
- ^ Tharwat A. (agosto de 2018). "Métodos de evaluación de clasificación" . Informática y Computación Aplicada . doi : 10.1016 / j.aci.2018.08.003 .
- ^ Rialland, Annie (agosto de 2005). "Aspectos fonológicos y fonéticos de las lenguas silbadas". Fonología . 22 (2): 237-271. CiteSeerX 10.1.1.484.4384 . doi : 10.1017 / S0952675705000552 .