Característica Operativa del Receptor

Gráfico de diagnóstico

Terminología y derivaciones
de una matriz de confusión

condición positiva (P) el número de casos positivos reales en los datos condición negativa (N) el número de casos negativos reales en los datos verdadero positivo (TP) eqv. con golpe verdadero negativo (TN) eqv. con correcto rechazo falso positivo (FP) eqv. con falsa alarma , error tipo I o subestimación falso negativo (FN) eqv. con falla, error tipo II o sobreestimación sensibilidad , recuperación , tasa de aciertos o tasa de verdaderos positivos (TPR) ${\displaystyle \mathrm {TPR} ={\frac {\mathrm {TP} }{\mathrm {P} }}={\frac {\mathrm {TP} }{\mathrm {TP} +\mathrm {FN} }}=1-\mathrm {FNR} }$ especificidad , selectividad o tasa de verdaderos negativos (TNR) ${\displaystyle \mathrm {TNR} ={\frac {\mathrm {TN} }{\mathrm {N} }}={\frac {\mathrm {TN} }{\mathrm {TN} +\mathrm {FP} }}=1-\mathrm {FPR} }$ precisión o valor predictivo positivo (VPP) ${\displaystyle \mathrm {PPV} ={\frac {\mathrm {TP} }{\mathrm {TP} +\mathrm {FP} }}=1-\mathrm {FDR} }$ valor predictivo negativo (VPN) ${\displaystyle \mathrm {NPV} ={\frac {\mathrm {TN} }{\mathrm {TN} +\mathrm {FN} }}=1-\mathrm {FOR} }$ tasa de errores o tasa de falsos negativos (FNR) ${\displaystyle \mathrm {FNR} ={\frac {\mathrm {FN} }{\mathrm {P} }}={\frac {\mathrm {FN} }{\mathrm {FN} +\mathrm {TP} }}=1-\mathrm {TPR} }$ tasa de caída o falso positivo (FPR) ${\displaystyle \mathrm {FPR} ={\frac {\mathrm {FP} }{\mathrm {N} }}={\frac {\mathrm {FP} }{\mathrm {FP} +\mathrm {TN} }}=1-\mathrm {TNR} }$ tasa de descubrimiento falso (FDR) ${\displaystyle \mathrm {FDR} ={\frac {\mathrm {FP} }{\mathrm {FP} +\mathrm {TP} }}=1-\mathrm {PPV} }$ tasa de omisiones falsas (FOR) ${\displaystyle \mathrm {FOR} ={\frac {\mathrm {FN} }{\mathrm {FN} +\mathrm {TN} }}=1-\mathrm {NPV} }$ umbral de prevalencia (PT) ${\displaystyle \mathrm {PT} ={\frac {{\sqrt {\mathrm {TPR} (-\mathrm {TNR} +1)}}+\mathrm {TNR} -1}{(\mathrm {TPR} +\mathrm {TNR} -1)}}}$ puntuación de amenaza (TS) o índice de éxito crítico (CSI) ${\displaystyle \mathrm {TS} ={\frac {\mathrm {TP} }{\mathrm {TP} +\mathrm {FN} +\mathrm {FP} }}}$ precisión (ACC) ${\displaystyle \mathrm {ACC} ={\frac {\mathrm {TP} +\mathrm {TN} }{\mathrm {P} +\mathrm {N} }}={\frac {\mathrm {TP} +\mathrm {TN} }{\mathrm {TP} +\mathrm {TN} +\mathrm {FP} +\mathrm {FN} }}}$ precisión equilibrada (BA) ${\displaystyle \mathrm {BA} ={\frac {TPR+TNR}{2}}}$ Puntuación F1 es la media armónica de precisión y sensibilidad :${\displaystyle \mathrm {F} _{1}=2\times {\frac {\mathrm {PPV} \times \mathrm {TPR} }{\mathrm {PPV} +\mathrm {TPR} }}={\frac {2\mathrm {TP} }{2\mathrm {TP} +\mathrm {FP} +\mathrm {FN} }}}$ Coeficiente de correlación de Matthews (MCC) ${\displaystyle \mathrm {MCC} ={\frac {\mathrm {TP} \times \mathrm {TN} -\mathrm {FP} \times \mathrm {FN} }{\sqrt {(\mathrm {TP} +\mathrm {FP} )(\mathrm {TP} +\mathrm {FN} )(\mathrm {TN} +\mathrm {FP} )(\mathrm {TN} +\mathrm {FN} )}}}}$ Índice de Fowlkes-Mallows (FM) ${\displaystyle \mathrm {FM} ={\sqrt {{\frac {TP}{TP+FP}}\times {\frac {TP}{TP+FN}}}}={\sqrt {PPV\times TPR}}}$ Informática o Informática de las casas de apuestas (BM) ${\displaystyle \mathrm {BM} =\mathrm {TPR} +\mathrm {TNR} -1}$ marcación (MK) o deltaP (Δp) ${\displaystyle \mathrm {MK} =\mathrm {PPV} +\mathrm {NPV} -1}$ Fuentes: Fawcett (2006), [1] Piryonesi y El-Diraby (2020), [2] Powers (2011), [3] Ting (2011), [4] CAWCR, [5] D. Chicco & G. Jurman (2020, 2021) , [6] [7] Tharwat (2018). [8]

Curva ROC de tres predictores de escisión de péptidos en el proteasoma .

Una curva característica de funcionamiento del receptor , o curva ROC , es un diagrama gráfico que ilustra la capacidad de diagnóstico de un sistema clasificador binario a medida que varía su umbral de discriminación. El método fue desarrollado originalmente para operadores de receptores de radar militares a partir de 1941, lo que llevó a su nombre.

La curva ROC se crea trazando la tasa de verdaderos positivos (TPR) frente a la tasa de falsos positivos (FPR) en varios valores de umbral. La tasa de verdaderos positivos también se conoce como sensibilidad , recuerdo o probabilidad de detección ^[9] en el aprendizaje automático . La tasa de falsos positivos también se conoce como probabilidad de falsa alarma ^[9] y se puede calcular como (1 - especificidad ). También se puede considerar como un gráfico de la potencia en función del error de tipo Ide la regla de decisión (cuando el rendimiento se calcula a partir de una muestra de la población, se puede considerar como estimadores de estas cantidades). La curva ROC es, por tanto, la sensibilidad o recuperación en función de la caída . En general, si se conocen las distribuciones de probabilidad para la detección y la falsa alarma, la curva ROC se puede generar trazando la función de distribución acumulada (área bajo la distribución de probabilidad desde el umbral de discriminación) de la probabilidad de detección en el eje y versus la función de distribución acumulativa de la probabilidad de falsa alarma en el eje x.${\displaystyle -\infty }$

El análisis ROC proporciona herramientas para seleccionar modelos posiblemente óptimos y descartar los subóptimos independientemente de (y antes de especificar) el contexto de costos o la distribución de clases. El análisis ROC se relaciona de forma directa y natural con el análisis costo / beneficio de la toma de decisiones diagnósticas .

La curva ROC fue desarrollada por primera vez por ingenieros eléctricos e ingenieros de radar durante la Segunda Guerra Mundial para detectar objetos enemigos en los campos de batalla y pronto se introdujo en la psicología para tener en cuenta la detección perceptiva de estímulos. Desde entonces, el análisis ROC se ha utilizado en medicina , radiología , biometría , predicción de peligros naturales , ^[10] meteorología , ^[11] evaluación del rendimiento de modelos ^[12] y otras áreas durante muchas décadas, y se utiliza cada vez más en el aprendizaje automático y la minería de datos. investigar.

La ROC también se conoce como una curva característica operativa relativa, porque es una comparación de dos características operativas (TPR y FPR) a medida que cambia el criterio. ^[13]

En resumen: si se usan correctamente, las curvas ROC son una herramienta muy poderosa como medida de desempeño estadístico en la teoría de detección / clasificación y prueba de hipótesis, ya que permiten tener todas las cantidades relevantes en una gráfica.

Concepto básico

Ver también: Errores tipo I y tipo II y Sensibilidad y especificidad

Un modelo de clasificación ( clasificador o diagnóstico ) es un mapeo de instancias entre ciertas clases / grupos. Debido a que el resultado del clasificador o diagnóstico puede ser un valor real arbitrario (salida continua), el límite del clasificador entre clases debe determinarse mediante un valor umbral (por ejemplo, para determinar si una persona tiene hipertensión según una medida de presión arterial ). O puede ser una etiqueta de clase discreta , que indica una de las clases.

Considere un problema de predicción de dos clases ( clasificación binaria ), en el que los resultados se etiquetan como positivos ( p ) o negativos ( n ). Hay cuatro posibles resultados de un clasificador binario. Si el resultado de una predicción es py el valor real también es p , entonces se denomina verdadero positivo (TP); sin embargo, si el valor real es n , se dice que es un falso positivo (FP). Por el contrario, se ha producido un verdadero negativo (TN) cuando tanto el resultado de la predicción como el valor real son n , y un falso negativo (FN) es cuando el resultado de la predicción esn mientras que el valor real es p .

Para obtener un ejemplo apropiado en un problema del mundo real, considere una prueba de diagnóstico que busca determinar si una persona tiene una determinada enfermedad. En este caso, un falso positivo ocurre cuando la persona da positivo en la prueba, pero en realidad no tiene la enfermedad. Un falso negativo, por otro lado, ocurre cuando la persona arroja un resultado negativo, lo que sugiere que está sana, cuando en realidad tiene la enfermedad.

Definamos un experimento a partir de P casos positivos y N casos negativos para alguna condición. Los cuatro resultados se pueden formular en una tabla de contingencia o matriz de confusión de 2 × 2 , de la siguiente manera:

		Condición prevista
	Población total	Condición prevista positiva	Condición prevista negativa	Precisión (ACC) =Σ Verdadero positivo + Σ Verdadero negativo/Σ Población total
Condición real	Condición real positiva	Verdadero positivo	Falso negativo , error de tipo II	Tasa de verdaderos positivos (TPR), recuperación , sensibilidad (SEN), probabilidad de detección, potencia =Σ Verdadero positivo/Σ Positivo real	Tasa de falsos negativos (FNR), Tasa de errores =Σ Falso negativo/Σ Positivo real
	Condición real negativa	Falso positivo , error de tipo I	Verdadero negativo	Tasa de falsos positivos (FPR), Fall-out , probabilidad de falsa alarma =Σ Falso positivo/Σ Negativo real	Especificidad (SPC), selectividad, tasa de verdaderos negativos (TNR) =Σ Verdadero negativo/Σ Negativo real
	Prevalencia =Σ Positivo real/Σ Población total	Valor predictivo positivo (VPP), precisión =Σ Verdadero positivo/Σ Positivo previsto	Tasa de falsas omisiones (FOR) =Σ Falso negativo/Σ Predicción negativa	Razón de probabilidad positiva (LR +) =TPR/FPR	Razón de verosimilitud negativa (LR−) =FNR/TNR
				Razón de posibilidades de diagnóstico (DOR) =LR +/LR−
	vista hablar editar	Tasa de descubrimiento falso (FDR) =Σ Falso positivo/Σ Positivo previsto	Valor predictivo negativo (VPN) =Σ Verdadero negativo/Σ Predicción negativa	Coeficiente de correlación de Matthews (MCC) = √ TPR · TNR · PPV · NPV - √ FNR · FPR · FOR · FDR	Puntuación F 1 =2 · PPV · TPR/PPV + TPR = 2 · Precisión · Recuperación/Precisión + Recuperación

Espacio ROC

El espacio ROC y los gráficos de los cuatro ejemplos de predicción.

El espacio de la República de China para un clasificador "mejor" y "peor".

La tabla de contingencia puede derivar varias "métricas" de evaluación (ver cuadro de información). Para dibujar una curva ROC, solo se necesitan la tasa de verdaderos positivos (TPR) y la tasa de falsos positivos (FPR) (como funciones de algún parámetro del clasificador). El TPR define cuántos resultados positivos correctos ocurren entre todas las muestras positivas disponibles durante la prueba. FPR, por otro lado, define cuántos resultados positivos incorrectos ocurren entre todas las muestras negativas disponibles durante la prueba.

Espacio Un ROC se define por FPR y TPR como x y Y ejes, respectivamente, que representa relativos compensaciones entre la verdadera positivos (beneficios) y falso positivo (costes). Dado que TPR es equivalente a sensibilidad y FPR es igual a 1 - especificidad, el gráfico ROC a veces se denomina gráfico de sensibilidad frente a (1 - especificidad). Cada resultado de predicción o instancia de una matriz de confusión representa un punto en el espacio ROC.

El mejor método de predicción posible produciría un punto en la esquina superior izquierda o coordenada (0,1) del espacio ROC, que representa el 100% de sensibilidad (sin falsos negativos) y el 100% de especificidad (sin falsos positivos). El punto (0,1) también se denomina clasificación perfecta . Una suposición aleatoria daría un punto a lo largo de una línea diagonal (la llamada línea de no discriminación ) desde la esquina inferior izquierda hasta la esquina superior derecha (independientemente de las tasas base positivas y negativas ). ^[14] Un ejemplo intuitivo de adivinación aleatoria es una decisión lanzando monedas. A medida que aumenta el tamaño de la muestra, el punto ROC de un clasificador aleatorio tiende hacia la línea diagonal. En el caso de una moneda balanceada, tenderá al punto (0.5, 0.5).

La diagonal divide el espacio ROC. Los puntos por encima de la diagonal representan buenos resultados de clasificación (mejores que aleatorios); los puntos debajo de la línea representan malos resultados (peores que aleatorios). Tenga en cuenta que la salida de un predictor consistentemente malo podría simplemente invertirse para obtener un buen predictor.

Veamos cuatro resultados de predicción de 100 instancias positivas y 100 negativas:

A	B	C	C'
TP = 63 FN = 37 100 FP = 28 TN = 72 100 91 109 200	TP = 77 FN = 23 100 FP = 77 TN = 23 100 154 46 200	TP = 24 FN = 76 100 FP = 88 TN = 12 100 112 88 200	TP = 76 FN = 24 100 FP = 12 TN = 88 100 88 112 200
TPR = 0,63	TPR = 0,5	TPR = 0,24	TPR = 0,76
FPR = 0,28	FPR = 0,5	FPR = 0,88	FPR = 0,12
VPP = 0,69	PPV = 0,50	VPP = 0,21	VPP = 0,86
F1 = 0,66	F1 = 0,61	F1 = 0,23	F1 = 0,81
ACC = 0,68	ACC = 0,50	ACC = 0,18	ACC = 0,82

Los gráficos de los cuatro resultados anteriores en el espacio ROC se muestran en la figura. El resultado del método A muestra claramente el mejor poder de predicción entre A , B , y C . El resultado de B se encuentra en la línea de conjetura aleatoria (la línea diagonal), y se puede ver en la tabla que la precisión de B es del 50%. Sin embargo, cuando C se refleja a través del punto central (0.5,0.5), el método resultante C ' es incluso mejor que A . Este método reflejado simplemente invierte las predicciones de cualquier método o prueba que haya producido la tabla de contingencia C. Aunque el C originalEl método tiene poder predictivo negativo, simplemente revertir sus decisiones conduce a un nuevo método predictivo C ′ que tiene poder predictivo positivo. Cuando el método C predice p o n , el método C ′ predeciría n o p , respectivamente. De esta manera, la C ′la prueba funcionaría mejor. Cuanto más cerca esté un resultado de una tabla de contingencia a la esquina superior izquierda, mejor predice, pero la distancia desde la línea de conjetura aleatoria en cualquier dirección es el mejor indicador de cuánto poder predictivo tiene un método. Si el resultado está por debajo de la línea (es decir, el método es peor que una suposición aleatoria), todas las predicciones del método deben invertirse para utilizar su poder, moviendo así el resultado por encima de la línea de suposición aleatoria.

Curvas en el espacio ROC

En la clasificación binaria, la predicción de clase para cada instancia se realiza a menudo basándose en una variable aleatoria continua , que es una "puntuación" calculada para la instancia (por ejemplo, la probabilidad estimada en la regresión logística). Dado un parámetro de umbral , la instancia se clasifica como "positiva" si , y "negativa" en caso contrario. sigue una densidad de probabilidad si la instancia realmente pertenece a la clase "positiva", y si no. Por lo tanto, la tasa de verdaderos positivos está dada por y la tasa de falsos positivos está dada por . La curva ROC traza paramétricamente TPR (T) versus FPR (T) con T como el parámetro variable.${\displaystyle X}$${\displaystyle T}$${\displaystyle X>T}$${\displaystyle X}$${\displaystyle f_{1}(x)}$${\displaystyle f_{0}(x)}$${\displaystyle {\mbox{TPR}}(T)=\int _{T}^{\infty }f_{1}(x)\,dx}$${\displaystyle {\mbox{FPR}}(T)=\int _{T}^{\infty }f_{0}(x)\,dx}$

Por ejemplo, imagine que los niveles de proteína en sangre en personas enfermas y personas sanas se distribuyen normalmente con promedios de 2 g / dL y 1 g / dL respectivamente. Un examen médico puede medir el nivel de una determinada proteína en una muestra de sangre y clasificar cualquier número por encima de cierto umbral como indicador de enfermedad. El experimentador puede ajustar el umbral (línea vertical negra en la figura), que a su vez cambiará la tasa de falsos positivos. El aumento del umbral daría como resultado menos falsos positivos (y más falsos negativos), lo que corresponde a un movimiento hacia la izquierda en la curva. La forma real de la curva está determinada por la superposición de las dos distribuciones.

Más interpretaciones

A veces, la República de China se utiliza para generar una estadística de resumen. Las versiones habituales son:

• la intersección de la curva ROC con la línea a 45 grados ortogonal a la línea de no discriminación - el punto de equilibrio donde Sensibilidad = 1 - Especificidad
• la intersección de la curva ROC con la tangente a 45 grados paralela a la línea de no discriminación que está más cerca del punto libre de errores (0,1) - también llamada estadística J de Youden y generalizada como Informedness ^{[ cita requerida ]}
• el área entre la curva ROC y la línea de no discriminación multiplicada por dos se llama coeficiente de Gini . No debe confundirse con la medida de dispersión estadística también llamada coeficiente de Gini .
• el área entre la curva ROC completa y la curva ROC triangular que incluye solo (0,0), (1,1) y un punto de operación seleccionado (tpr, fpr) - Consistencia ^[15]
• el área debajo de la curva ROC, o "AUC" ("Área debajo de la curva"), o A '(pronunciado "a-prime"), ^[16] o "estadística c" ("estadística de concordancia"). ^[17]
• el índice de sensibilidad d ' (pronunciado "d-prime"), la distancia entre la media de la distribución de la actividad en el sistema en condiciones de ruido solo y su distribución en condiciones de señal sola, dividida por su desviación estándar , bajo el supuesto que ambas distribuciones son normales con la misma desviación estándar. Bajo estos supuestos, la forma de la República de China está completamente determinada por d ' .

Sin embargo, cualquier intento de resumir la curva ROC en un solo número pierde información sobre el patrón de compensaciones del algoritmo discriminador particular.

Área bajo la curva

Cuando se utilizan unidades normalizadas, el área bajo la curva (a menudo denominada simplemente AUC) es igual a la probabilidad de que un clasificador clasifique una instancia positiva elegida aleatoriamente por encima de una instancia negativa elegida aleatoriamente (asumiendo que 'positivo' clasifica por encima de ' negativo'). ^[18] Esto se puede ver de la siguiente manera: el área bajo la curva está dada por (los límites integrales se invierten ya que el umbral grande tiene un valor más bajo en el eje x)${\displaystyle T}$

${\displaystyle TPR(T):T\rightarrow y(x)}$

${\displaystyle FPR(T):T\rightarrow x}$

${\displaystyle A=\int _{x=0}^{1}{\mbox{TPR}}({\mbox{FPR}}^{-1}(x))\,dx=\int _{\infty }^{-\infty }{\mbox{TPR}}(T){\mbox{FPR}}'(T)\,dT=\int _{-\infty }^{\infty }\int _{-\infty }^{\infty }I(T'>T)f_{1}(T')f_{0}(T)\,dT'\,dT=P(X_{1}>X_{0})}$

donde es la puntuación para una instancia positiva y es la puntuación para una instancia negativa, y y son las densidades de probabilidad como se definió en la sección anterior.${\displaystyle X_{1}}$${\displaystyle X_{0}}$${\displaystyle f_{0}}$${\displaystyle f_{1}}$

Además, se puede demostrar que el AUC está estrechamente relacionado con la U de Mann-Whitney , ^{[19] [20]} que evalúa si los positivos se clasifican por encima de los negativos. También es equivalente a la prueba de rangos de Wilcoxon . ^[20] Para un predictor , un estimador insesgado de su AUC puede expresarse mediante el siguiente estadístico de Wilcoxon-Mann-Whitney : ^[21]${\textstyle f}$

${\displaystyle AUC(f)={\frac {\sum _{t_{0}\in {\mathcal {D}}^{0}}\sum _{t_{1}\in {\mathcal {D}}^{1}}{\textbf {1}}[f(t_{0})<f(t_{1})]}{|{\mathcal {D}}^{0}|\cdot |{\mathcal {D}}^{1}|}},}$

donde, denota una función indicadora que devuelve 1 si, de lo contrario, devuelve 0; es el conjunto de ejemplos negativos y es el conjunto de ejemplos positivos.${\textstyle {\textbf {1}}[f(t_{0})<f(t_{1})]}$${\displaystyle f(t_{0})<f(t_{1})}$${\displaystyle {\mathcal {D}}^{0}}$${\displaystyle {\mathcal {D}}^{1}}$

El AUC está relacionado con el * coeficiente de Gini * ( ) por la fórmula , donde:${\displaystyle G_{1}}$${\displaystyle G_{1}=2{\mbox{AUC}}-1}$

${\displaystyle G_{1}=1-\sum _{k=1}^{n}(X_{k}-X_{k-1})(Y_{k}+Y_{k-1})}$^[22]

De esta manera, es posible calcular el AUC usando un promedio de varias aproximaciones trapezoidales. no debe confundirse con la medida de dispersión estadística que también se llama coeficiente de Gini .${\displaystyle G_{1}}$

También es común calcular el área bajo el casco convexo ROC (ROC AUCH = ROCH AUC) ya que cualquier punto en el segmento de línea entre dos resultados de predicción se puede lograr utilizando aleatoriamente uno u otro sistema con probabilidades proporcionales a la longitud relativa de el componente opuesto del segmento. ^[23] También es posible invertir las concavidades, al igual que en la figura, la peor solución puede reflejarse para convertirse en una mejor solución; las concavidades pueden reflejarse en cualquier segmento de línea, pero es mucho más probable que esta forma más extrema de fusión se sobreajuste a los datos. ^[24]

La comunidad de aprendizaje automático utiliza con mayor frecuencia la estadística ROC AUC para la comparación de modelos. ^[25] Esta práctica ha sido cuestionada porque las estimaciones de AUC son bastante ruidosas y adolecen de otros problemas. ^{[26] [27] [28]} No obstante, la coherencia del AUC como una medida del desempeño de clasificación agregada se ha reivindicado, en términos de una distribución uniforme de tasas, ^[29] y el AUC se ha vinculado a una serie de otras métricas de desempeño como como la puntuación de Brier . ^[30]

Otro problema con ROC AUC es que la reducción de la curva ROC a un solo número ignora el hecho de que se trata de las compensaciones entre los diferentes sistemas o puntos de rendimiento trazados y no del rendimiento de un sistema individual, además de ignorar la posibilidad de reparación de la concavidad. , por lo que se recomiendan medidas alternativas relacionadas como Informedness ^{[ cita requerida ]} o DeltaP. ^{[15] [31]} Estas medidas son esencialmente equivalentes al Gini para un solo punto de predicción con DeltaP '= Informedness = 2AUC-1, mientras que DeltaP = Markedness representa el dual (es decir, predecir la predicción de la clase real) y su geometría la media es el coeficiente de correlación de Matthews . ^{[cita requerida ]}

Mientras que el AUC de ROC varía entre 0 y 1, con un clasificador no informativo que arroja 0.5, las medidas alternativas conocidas como Información , ^{[ cita requerida ]} Certeza ^[15] y Coeficiente de Gini (en el caso de parametrización única o sistema único) ^{[ cita requerida ]} tienen la ventaja de que 0 representa un desempeño al azar, mientras que 1 representa un desempeño perfecto, y -1 representa el caso "perverso" de información completa que siempre da la respuesta incorrecta. ^[32]Llevar el rendimiento del azar a 0 permite interpretar estas escalas alternativas como estadísticas Kappa. Se ha demostrado que la información tiene características deseables para el aprendizaje automático en comparación con otras definiciones comunes de Kappa, como Cohen Kappa y Fleiss Kappa . ^{[ cita requerida ] [33]}

A veces puede ser más útil mirar una región específica de la curva ROC en lugar de la curva completa. Es posible calcular el AUC parcial. ^[34] Por ejemplo, uno podría centrarse en la región de la curva con una tasa baja de falsos positivos, que suele ser de gran interés para las pruebas de detección de poblaciones. ^[35] Otro enfoque común para problemas de clasificación en los que P ≪ N (común en aplicaciones bioinformáticas) es usar una escala logarítmica para el eje x. ^[36]

El área ROC debajo de la curva también se llama estadística c o estadística c . ^[37]

Otras medidas

Curva de TOC

La característica operativa total (TOC) también caracteriza la capacidad de diagnóstico al tiempo que revela más información que la ROC. Para cada umbral, ROC revela dos proporciones, TP / (TP + FN) y FP / (FP + TN). En otras palabras, ROC revela aciertos / (aciertos + fallos) y falsas alarmas / (falsas alarmas + rechazos correctos). Por otro lado, TOC muestra la información total en la tabla de contingencia para cada umbral. ^[38] El método TOC revela toda la información que proporciona el método ROC, más información adicional importante que ROC no revela, es decir, el tamaño de cada entrada en la tabla de contingencia para cada umbral. TOC también proporciona el popular AUC de la República de China. ^[39]

Curva ROC

Estas cifras son las curvas TOC y ROC que utilizan los mismos datos y umbrales. Considere el punto que corresponde a un umbral de 74. La curva TOC muestra el número de aciertos, que es 3, y por lo tanto el número de fallos, que es 7. Además, la curva TOC muestra que el número de falsas alarmas es 4 y el número de rechazos correctos es 16. En cualquier punto dado de la curva ROC, es posible obtener valores para las relaciones de falsas alarmas / (falsas alarmas + rechazos correctos) y aciertos / (aciertos + fallos). Por ejemplo, en el umbral 74, es evidente que la coordenada x es 0,2 y la coordenada y es 0,3. Sin embargo, estos dos valores son insuficientes para construir todas las entradas de la tabla de contingencia subyacente de dos por dos.

Gráfico de compensación de errores de detección

Ejemplo de gráfico DET

Una alternativa a la curva ROC es la compensación del error de detección(DET), que representa la tasa de falsos negativos (detecciones perdidas) frente a la tasa de falsos positivos (falsas alarmas) en los ejes xey transformados de forma no lineal. La función de transformación es la función cuantil de la distribución normal, es decir, la inversa de la distribución normal acumulada. De hecho, es la misma transformación que zROC, a continuación, excepto que se utiliza el complemento de la tasa de aciertos, la tasa de errores o la tasa de falsos negativos. Esta alternativa gasta más área del gráfico en la región de interés. La mayor parte del área de la República de China tiene poco interés; uno se preocupa principalmente por la región apretada contra el eje y y la esquina superior izquierda, que, debido a que utiliza la tasa de fallos en lugar de su complemento, la tasa de aciertos, es la esquina inferior izquierda en un gráfico DET. Además,Los gráficos DET tienen la útil propiedad de linealidad y un comportamiento de umbral lineal para distribuciones normales.^[40] La trama DET se utiliza ampliamente en lacomunidad de reconocimiento automático de hablantes , donde se utilizó por primera vez el nombre DET. El análisis del rendimiento de la ROC en gráficos con esta deformación de los ejes fue utilizado por psicólogos en estudios de percepción a mediados del siglo XX, ^{[ cita requerida ]} donde esto se denominó "papel de doble probabilidad". ^[41]

Z-score

Si se aplica una puntuación estándar a la curva ROC, la curva se transformará en una línea recta. ^[42] Esta puntuación z se basa en una distribución normal con una media de cero y una desviación estándar de uno. En la teoría de la fuerza de la memoria , se debe asumir que el zROC no solo es lineal, sino que tiene una pendiente de 1.0. Las distribuciones normales de objetivos (objetos estudiados que los sujetos necesitan recordar) y señuelos (objetos no estudiados que los sujetos intentan recordar) es el factor que hace que el zROC sea lineal.

La linealidad de la curva zROC depende de las desviaciones estándar de las distribuciones de fuerza del objetivo y del señuelo. Si las desviaciones estándar son iguales, la pendiente será 1.0. Si la desviación estándar de la distribución de la fuerza objetivo es mayor que la desviación estándar de la distribución de la fuerza del señuelo, entonces la pendiente será menor que 1.0. En la mayoría de los estudios, se ha encontrado que las pendientes de la curva zROC caen constantemente por debajo de 1, generalmente entre 0,5 y 0,9. ^[43] Muchos experimentos arrojaron una pendiente zROC de 0,8. Una pendiente de 0,8 implica que la variabilidad de la distribución de la fuerza objetivo es un 25% mayor que la variabilidad de la distribución de la fuerza del señuelo. ^[44]

Otra variable utilizada es  d ' (d prima) (discutida anteriormente en "Otras medidas"), que puede expresarse fácilmente en términos de valores z. Aunque d 'es un parámetro de uso común, debe reconocerse que solo es relevante cuando se adhiere estrictamente a las muy sólidas suposiciones de la teoría de la fuerza hechas anteriormente. ^[45]

La puntuación z de una curva ROC es siempre lineal, como se supone, excepto en situaciones especiales. El modelo de familiaridad-recuerdo de Yonelina es una descripción bidimensional de la memoria de reconocimiento. En lugar de que el sujeto simplemente responda sí o no a una entrada específica, el sujeto le da a la entrada una sensación de familiaridad, que funciona como la curva ROC original. Sin embargo, lo que cambia es un parámetro de Recollection (R). Se supone que el recuerdo es todo o nada, y triunfa sobre la familiaridad. Si no hubiera un componente de recolección, zROC tendría una pendiente prevista de 1. Sin embargo, al agregar el componente de recolección, la curva zROC será cóncava hacia arriba, con una pendiente disminuida. Esta diferencia de forma y pendiente es el resultado de un elemento adicional de variabilidad debido a la recolección de algunos elementos. Los pacientes con amnesia anterógrada no pueden recordar,por lo que su curva zROC de Yonelinas tendría una pendiente cercana a 1.0.^[46]

Historia

La curva ROC se utilizó por primera vez durante la Segunda Guerra Mundial para el análisis de señales de radar antes de emplearse en la teoría de detección de señales . ^[47] Tras el ataque a Pearl Harbor en 1941, el ejército de los Estados Unidos inició una nueva investigación para aumentar la predicción de aviones japoneses detectados correctamente a partir de sus señales de radar. Para estos fines, midieron la capacidad de un operador de receptor de radar para hacer estas importantes distinciones, lo que se denominó Característica de funcionamiento del receptor. ^[48]

En la década de 1950, las curvas ROC se emplearon en psicofísica para evaluar la detección humana (y ocasionalmente de animales no humanos) de señales débiles. ^[47] En medicina , el análisis ROC se ha utilizado ampliamente en la evaluación de pruebas de diagnóstico . ^{[49] [50] Las} curvas ROC también se utilizan ampliamente en la epidemiología y la investigación médica y se mencionan con frecuencia junto con la medicina basada en la evidencia . En radiología , el análisis ROC es una técnica común para evaluar nuevas técnicas de radiología. ^[51]En las ciencias sociales, el análisis ROC a menudo se denomina Razón de precisión ROC, una técnica común para juzgar la precisión de los modelos de probabilidad de incumplimiento. Las curvas ROC se utilizan ampliamente en la medicina de laboratorio para evaluar la precisión diagnóstica de una prueba, elegir el punto de corte óptimo de una prueba y comparar la precisión diagnóstica de varias pruebas.

Las curvas ROC también resultaron útiles para la evaluación de técnicas de aprendizaje automático . La primera aplicación de ROC en el aprendizaje automático fue realizada por Spackman, quien demostró el valor de las curvas ROC al comparar y evaluar diferentes algoritmos de clasificación . ^[52]

Las curvas ROC también se utilizan en la verificación de pronósticos en meteorología. ^[53]

Curvas ROC más allá de la clasificación binaria

La extensión de las curvas ROC para problemas de clasificación con más de dos clases siempre ha sido engorrosa, ya que los grados de libertad aumentan cuadráticamente con el número de clases, y el espacio ROC tiene dimensiones, donde está el número de clases. ^[54] Se han realizado algunos enfoques para el caso particular con tres clases (ROC de tres vías). ^[55] El cálculo del volumen bajo la superficie ROC (VUS) se ha analizado y estudiado como una métrica de rendimiento para problemas de clases múltiples. ^[56] Sin embargo, debido a la complejidad de aproximar el VUS verdadero, algunos otros enfoques ^[57] basados ​​en una extensión del AUC son más populares como métrica de evaluación.${\displaystyle c(c-1)}$${\displaystyle c}$

Dado el éxito de las curvas ROC para la evaluación de modelos de clasificación, también se ha investigado la extensión de las curvas ROC para otras tareas supervisadas. Propuestas notables para los problemas de regresión son las llamadas curvas de característica de error de regresión (REC) ^[58] y las curvas de regresión ROC (RROC). ^[59] En este último, las curvas RROC se vuelven extremadamente similares a las curvas ROC para la clasificación, con las nociones de asimetría, dominancia y casco convexo. Además, el área bajo las curvas RROC es proporcional a la varianza del error del modelo de regresión.

Ver también

Wikimedia Commons tiene medios relacionados con la característica operativa del receptor .

• Puntuación de Brier
• Coeficiente de determinación
• Tasa constante de falsas alarmas
• Compensación de errores de detección
• Teoría de la detección
• Puntuación F1
• Falsa alarma
• Pruebas de hipótesis para la precisión
• Precisión y recuerdo
• ROCCET
• Característica operativa total

Referencias

1. Fawcett, Tom (2006). "Una introducción al análisis ROC" (PDF) . Cartas de reconocimiento de patrones . 27 (8): 861–874. doi : 10.1016 / j.patrec.2005.10.010 .
2. Piryonesi S. Madeh; El-Diraby Tamer E. (1 de marzo de 2020). "Análisis de datos en la gestión de activos: predicción rentable del índice de condición del pavimento". Revista de sistemas de infraestructura . 26 (1): 04019036. doi : 10.1061 / (ASCE) IS.1943-555X.0000512 .
3. Poderes, David MW (2011). "Evaluación: de precisión, recuperación y medida F a ROC, información, marca y correlación" . Revista de tecnologías de aprendizaje automático . 2 (1): 37–63.
4. Ting, Kai Ming (2011). Sammut, Claude; Webb, Geoffrey I. (eds.). Enciclopedia de aprendizaje automático . Saltador. doi : 10.1007 / 978-0-387-30164-8 . ISBN 978-0-387-30164-8.
5. Brooks, Harold; Marrón, púa; Ebert, Beth; Ferro, Chris; Jolliffe, Ian; Koh, Tieh-Yong; Roebber, Paul; Stephenson, David (26 de enero de 2015). "Grupo de trabajo conjunto WWRP / WGNE sobre investigación de verificación de pronósticos" . Colaboración para la investigación meteorológica y climática de Australia . Organización Meteorológica Mundial . Consultado el 17 de julio de 2019 .
6. Chicco D., Jurman G. (enero de 2020). "Las ventajas del coeficiente de correlación de Matthews (MCC) sobre la puntuación F1 y la precisión en la evaluación de clasificación binaria" . BMC Genomics . 21 (1): 6-1–6-13. doi : 10.1186 / s12864-019-6413-7 . PMC 6941312 . PMID 31898477 .  
7. Chicco D., Toetsch N., Jurman G. (febrero de 2021). "El coeficiente de correlación de Matthews (MCC) es más confiable que la precisión equilibrada, la información de las casas de apuestas y la marcación en la evaluación de la matriz de confusión de dos clases" . Minería de Biodatos . 14 (13): 1-22. doi : 10.1186 / s13040-021-00244-z . PMC 7863449 . PMID 33541410 .  
8. Tharwat A. (agosto de 2018). "Métodos de evaluación de clasificación" . Informática y Computación Aplicada . doi : 10.1016 / j.aci.2018.08.003 .
9. "Análisis de rendimiento del detector mediante curvas ROC - Ejemplo de MATLAB y Simulink" . www.mathworks.com . Consultado el 11 de agosto de 2016 .
10. Peres, DJ; Cancelliere, A. (8 de diciembre de 2014). "Derivación y evaluación de los umbrales desencadenantes de deslizamientos de tierra mediante un enfoque de Monte Carlo" . Hydrol. Earth Syst. Sci . 18 (12): 4913–4931. Código bibliográfico : 2014HESS ... 18.4913P . doi : 10.5194 / hess-18-4913-2014 . ISSN 1607-7938 . 
11. Murphy, Allan H. (1 de marzo de 1996). "El asunto Finley: un evento de señal en la historia de la verificación del pronóstico" . Clima y pronóstico . 11 (1): 3-20. Código Bibliográfico : 1996WtFor..11 .... 3M . doi : 10.1175 / 1520-0434 (1996) 011 <0003: tfaase> 2.0.co; 2 . ISSN 0882-8156 . 
12. Peres, DJ; Iuppa, C .; Cavallaro, L .; Cancelliere, A .; Foti, E. (1 de octubre de 2015). "Extensión de registro de altura de ola significativa por redes neuronales y reanálisis de datos de viento". Modelado de océanos . 94 : 128-140. Código bibliográfico : 2015OcMod..94..128P . doi : 10.1016 / j.ocemod.2015.08.002 .
13. Swets, John A .; Teoría de detección de señales y análisis ROC en psicología y diagnóstico: artículos recopilados , Lawrence Erlbaum Associates, Mahwah, Nueva Jersey, 1996
14. "clasificación - AUC-ROC de un clasificador aleatorio" . Intercambio de pila de ciencia de datos . Consultado el 30 de noviembre de 2020 .
15. Powers, David MW (2012). "ROC-ConCert: medición de coherencia y certeza basada en ROC" (PDF) . Congreso de Primavera de Ingeniería y Tecnología (SCET) . 2 . IEEE. págs. 238–241.
16. Fogarty, James; Baker, Ryan S .; Hudson, Scott E. (2005). "Estudios de caso en el uso de análisis de curvas ROC para estimaciones basadas en sensores en la interacción humano-computadora" . ACM International Conference Proceeding Series, Proceedings of Graphics Interface 2005 . Waterloo, ON: Sociedad Canadiense de Comunicaciones Humano-Computadora.
17. Hastie, Trevor ; Tibshirani, Robert ; Friedman, Jerome H. (2009). Los elementos del aprendizaje estadístico: minería de datos, inferencia y predicción (2ª ed.).
18. Fawcett, Tom (2006); Una introducción al análisis ROC , Pattern Recognition Letters, 27, 861–874.
19. Hanley, James A .; McNeil, Barbara J. (1982). "El significado y uso del área bajo una curva característica de funcionamiento del receptor (ROC)". Radiología . 143 (1): 29–36. doi : 10.1148 / radiology.143.1.7063747 . PMID 7063747 . S2CID 10511727 .  
20. Mason, Simon J .; Graham, Nicholas E. (2002). "Áreas debajo de las curvas de características operativas relativas (ROC) y niveles operativos relativos (ROL): significado e interpretación estadística" (PDF) . Revista trimestral de la Royal Meteorological Society . 128 (584): 2145–2166. Código bibliográfico : 2002QJRMS.128.2145M . CiteSeerX 10.1.1.458.8392 . doi : 10.1256 / 003590002320603584 . Archivado desde el original (PDF) el 20 de noviembre de 2008.  
21. Calders, Toon; Jaroszewicz, Szymon (2007). Kok, Joost N .; Koronacki, Jacek; López de Mantaras, Ramón; Matwin, Stan; Mladenič, Dunja; Skowron, Andrzej (eds.). "Optimización eficiente de AUC para clasificación" . Descubrimiento de conocimiento en bases de datos: PKDD 2007 . Apuntes de conferencias en Ciencias de la Computación. Berlín, Heidelberg: Springer. 4702 : 42–53. doi : 10.1007 / 978-3-540-74976-9_8 . ISBN 978-3-540-74976-9.
22. Mano, David J .; y Till, Robert J. (2001); Una simple generalización del área bajo la curva ROC para problemas de clasificación de clases múltiples , Machine Learning, 45, 171–186.
23. Provost, F .; Fawcett, T. (2001). "Clasificación robusta para entornos imprecisos". Aprendizaje automático . 42 (3): 203–231. arXiv : cs / 0009007 . doi : 10.1023 / a: 1007601015854 . S2CID 5415722 . 
24. Flach, PA; Wu, S. (2005). "Reparación de concavidades en curvas ROC". (PDF) . XIX Conferencia Conjunta Internacional sobre Inteligencia Artificial (IJCAI'05) . págs. 702–707.
25. Hanley, James A .; McNeil, Barbara J. (1 de septiembre de 1983). "Un método para comparar las áreas bajo las curvas características de funcionamiento del receptor derivadas de los mismos casos" . Radiología . 148 (3): 839–843. doi : 10.1148 / radiology.148.3.6878708 . PMID 6878708 . 
26. Hanczar, Blaise; Hua, Jianping; Sima, Chao; Weinstein, John; Bittner, Michael; Dougherty, Edward R (2010). "Precisión de muestras pequeñas de estimaciones relacionadas con la República de China" . Bioinformática . 26 (6): 822–830. doi : 10.1093 / bioinformatics / btq037 . PMID 20130029 . 
27. Lobo, Jorge M .; Jiménez-Valverde, Alberto; Real, Raimundo (2008). "AUC: una medida engañosa del rendimiento de los modelos de distribución predictiva". Ecología y biogeografía global . 17 (2): 145-151. doi : 10.1111 / j.1466-8238.2007.00358.x . S2CID 15206363 . 
28. Mano, David J (2009). "Medición del rendimiento del clasificador: una alternativa coherente al área bajo la curva ROC" . Aprendizaje automático . 77 : 103-123. doi : 10.1007 / s10994-009-5119-5 .
29. Flach, PA; Hernandez-Orallo, J .; Ferri, C. (2011). "Una interpretación coherente del AUC como una medida del desempeño de clasificación agregado". (PDF) . Actas de la 28a Conferencia Internacional sobre Aprendizaje Automático (ICML-11) . págs. 657–664.
30. Hernandez-Orallo, J .; Flach, PA; Ferri, C. (2012). "Una vista unificada de las métricas de rendimiento: traducción de la elección del umbral en pérdida de clasificación esperada" (PDF) . Revista de investigación sobre aprendizaje automático . 13 : 2813–2869.
31. Poderes, David MW (2012). "El problema del área bajo la curva". Congreso Internacional de Ciencia y Tecnología de la Información .
32. Poderes, David MW (2003). "Recall y precisión versus el corredor de apuestas" (PDF) . Actas de la Conferencia Internacional sobre Ciencias Cognitivas (ICSC-2003), Sydney Australia, 2003, págs. 529–534 .
33. Poderes, David MW (2012). "El problema con Kappa" (PDF) . Conferencia del Capítulo Europeo de la Asociación de Lingüística Computacional (EACL2012) Taller conjunto ROBUS-UNSUP . Archivado desde el original (PDF) el 18 de mayo de 2016 . Consultado el 20 de julio de 2012 .
34. McClish, Donna Katzman (1 de agosto de 1989). "Análisis de una parte de la curva ROC". Toma de decisiones médicas . 9 (3): 190-195. doi : 10.1177 / 0272989X8900900307 . PMID 2668680 . S2CID 24442201 .  
35. Dodd, Lori E .; Pepe, Margaret S. (2003). "Estimación y regresión del AUC parcial" . Biometría . 59 (3): 614–623. doi : 10.1111 / 1541-0420.00071 . PMID 14601762 . 
36. Karplus, Kevin (2011); Mejor que el azar: la importancia de los modelos nulos , Universidad de California, Santa Cruz, en Actas del Primer Taller Internacional sobre Reconocimiento de Patrones en Proteómica, Biología Estructural y Bioinformática (PR PS BB 2011)
37. "Estadística C: definición, ejemplos, ponderación y significado" . Estadísticas cómo . 28 de agosto de 2016.
38. Poncio, Robert Gilmore; Parmentier, Benoit (2014). "Recomendaciones para el uso de la característica de funcionamiento relativa (ROC)". Ecología del paisaje . 29 (3): 367–382. doi : 10.1007 / s10980-013-9984-8 . S2CID 15924380 . 
39. Poncio, Robert Gilmore; Si, Kangping (2014). "La característica operativa total para medir la capacidad de diagnóstico para múltiples umbrales". Revista Internacional de Ciencias de la Información Geográfica . 28 (3): 570–583. doi : 10.1080 / 13658816.2013.862623 . S2CID 29204880 . 
40. Navratil, J .; Klusacek, D. (1 de abril de 2007). En DET lineales . 2007 IEEE International Conference on Acustics, Speech and Signal Processing - ICASSP '07 . 4 . págs. IV – 229 – IV – 232. doi : 10.1109 / ICASSP.2007.367205 . ISBN 978-1-4244-0727-9. S2CID  18173315 .
41. Dev P. Chakraborty (14 de diciembre de 2017). "doble + probabilidad + papel" & pg = PT214 Métodos Rendimiento observador de Diagnóstico por la Imagen: Fundamentos, modelado, y aplicaciones con ejemplos basados-R . Prensa CRC. pag. 214. ISBN 9781351230711. Consultado el 11 de julio de 2019 .
42. MacMillan, Neil A .; Creelman, C. Douglas (2005). Teoría de la detección: una guía del usuario (2ª ed.). Mahwah, Nueva Jersey: Lawrence Erlbaum Associates. ISBN 978-1-4106-1114-7.
43. Glanzer, Murray; Kisok, Kim; Hilford, Andy; Adams, John K. (1999). "Pendiente de la característica de funcionamiento del receptor en la memoria de reconocimiento". Revista de psicología experimental: aprendizaje, memoria y cognición . 25 (2): 500–513. doi : 10.1037 / 0278-7393.25.2.500 .
44. Ratcliff, Roger; McCoon, Gail; Tindall, Michael (1994). "Generalidad empírica de los datos de las funciones ROC de la memoria de reconocimiento e implicaciones para los GMM". Revista de psicología experimental: aprendizaje, memoria y cognición . 20 (4): 763–785. CiteSeerX 10.1.1.410.2114 . doi : 10.1037 / 0278-7393.20.4.763 . 
45. Zhang, junio; Mueller, Shane T. (2005). "Una nota sobre análisis ROC y estimación no paramétrica de sensibilidad". Psychometrika . 70 : 203–212. CiteSeerX 10.1.1.162.1515 . doi : 10.1007 / s11336-003-1119-8 . S2CID 122355230 .  
46. Yonelinas, Andrew P .; Kroll, Neal EA; Dobbins, Ian G .; Lazzara, Michele; Caballero, Robert T. (1998). "Déficits de recuerdo y familiaridad en la amnesia: convergencia de recordar-saber, disociación del proceso y datos de características operativas del receptor". Neuropsicología . 12 (3): 323–339. doi : 10.1037 / 0894-4105.12.3.323 . PMID 9673991 . 
47. Green, David M .; Swets, John A. (1966). Teoría de la detección de señales y psicofísica . Nueva York, NY: John Wiley and Sons Inc. ISBN 978-0-471-32420-1.
48. "Uso de la curva de características operativas del receptor (ROC) para analizar un modelo de clasificación: una nota final de interés histórico" (PDF) . Departamento de Matemáticas, Universidad de Utah . Departamento de Matemáticas, Universidad de Utah . Consultado el 25 de mayo de 2017 .
49. Zweig, Mark H .; Campbell, Gregory (1993). "Parcelas de características operativas del receptor (ROC): una herramienta de evaluación fundamental en la medicina clínica" (PDF) . Química clínica . 39 (8): 561–577. doi : 10.1093 / clinchem / 39.4.561 . PMID 8472349 .  
50. Pepe, Margaret S. (2003). La evaluación estadística de pruebas médicas para clasificación y predicción . Nueva York, NY: Oxford. ISBN 978-0-19-856582-6.
51. Obuchowski, Nancy A. (2003). "Curvas características operativas del receptor y su uso en radiología". Radiología . 229 (1): 3–8. doi : 10.1148 / radiol.2291010898 . PMID 14519861 . 
52. Spackman, Kent A. (1989). "Teoría de la detección de señales: herramientas valiosas para evaluar el aprendizaje inductivo". Actas del Sexto Taller Internacional de Aprendizaje Automático . San Mateo, CA: Morgan Kaufmann . págs. 160-163.
53. Kharin, Viatcheslav (2003). "En la puntuación ROC de los pronósticos de probabilidad" . Revista del clima . 16 (24): 4145–4150. Código bibliográfico : 2003JCli ... 16.4145K . doi : 10.1175 / 1520-0442 (2003) 016 <4145: OTRSOP> 2.0.CO; 2 .
54. Srinivasan, A. (1999). "Nota sobre la ubicación de los clasificadores óptimos en el espacio ROC N-dimensional". Informe técnico PRG-TR-2-99, Laboratorio de Computación de la Universidad de Oxford, Edificio Wolfson, Parks Road, Oxford . CiteSeerX 10.1.1.35.703 . 
55. Mossman, D. (1999). "ROC de tres vías". Toma de decisiones médicas . 19 (1): 78–89. doi : 10.1177 / 0272989x9901900110 . PMID 9917023 . S2CID 24623127 .  
56. Ferri, C .; Hernandez-Orallo, J .; Salido, MA (2003). "Volumen bajo la superficie ROC para problemas de clases múltiples". Aprendizaje automático: ECML 2003 . págs. 108–120.
57. Hasta, DJ; Mano, RJ (2001). "Una simple generalización del área bajo la curva ROC para problemas de clasificación de clases múltiples" . Aprendizaje automático . 45 (2): 171–186. doi : 10.1023 / A: 1010920819831 .
58. Bi, J .; Bennett, KP (2003). "Curvas características del error de regresión" (PDF) . XX Congreso Internacional de Aprendizaje Automático (ICML-2003). Washington, DC .
59. Hernández-Orallo, J. (2013). "Curvas ROC para regresión". Reconocimiento de patrones . 46 (12): 3395–3411. doi : 10.1016 / j.patcog.2013.06.014 . hdl : 10251/40252 .

Enlaces externos

• Demostración de la República de China
• otra demostración de la República de China
• Explicación en video de la República de China
• Introducción a la característica operativa total: utilidad en la evaluación del modelo de cambio de suelo
• Cómo ejecutar el paquete TOC en R
• Paquete TOC R en Github
• Libro de Excel para generar curvas de TOC

Lectura adicional

• Balakrishnan, Narayanaswamy (1991); Manual de distribución logística , Marcel Dekker, Inc., ISBN 978-0-8247-8587-1 
• Brown, Christopher D .; Davis, Herbert T. (2006). "Curvas de características operativas del receptor y medidas de decisión relacionadas: un tutorial". Quimiometría y sistemas inteligentes de laboratorio . 80 : 24–38. doi : 10.1016 / j.chemolab.2005.05.004 .
• Rotello, Caren M .; Heit, Evan; Dubé, Chad (2014). "Cuando más datos nos conducen mal: las réplicas con la medida dependiente incorrecta perpetúan conclusiones erróneas" (PDF) . Boletín y revisión psiconómica . 22 (4): 944–954. doi : 10.3758 / s13423-014-0759-2 . PMID  25384892 . S2CID  6046065 .
• Fawcett, Tom (2004). "Gráficos ROC: notas y consideraciones prácticas para investigadores" (PDF) . Cartas de reconocimiento de patrones . 27 (8): 882–891. CiteSeerX  10.1.1.145.4649 . doi : 10.1016 / j.patrec.2005.10.012 .
• Gonen, Mithat (2007); Análisis de las curvas de características operativas del receptor con SAS , SAS Press, ISBN 978-1-59994-298-8 
• Green, William H., (2003) Análisis econométrico , quinta edición, Prentice Hall , ISBN 0-13-066189-9 
• Heagerty, Patrick J .; Lumley, Thomas; Pepe, Margaret S. (2000). "Curvas ROC dependientes del tiempo para datos de supervivencia censurados y un marcador de diagnóstico". Biometría . 56 (2): 337–344. doi : 10.1111 / j.0006-341x.2000.00337.x . PMID  10877287 . S2CID  8822160 .
• Hosmer, David W .; y Lemeshow, Stanley (2000); Regresión logística aplicada , 2.a ed., Nueva York, NY: Wiley , ISBN 0-471-35632-8 
• Lasko, Thomas A .; Bhagwat, Jui G .; Zou, Kelly H .; Ohno-Machado, Lucila (2005). "El uso de curvas características operativas del receptor en informática biomédica". Revista de Informática Biomédica . 38 (5): 404–415. CiteSeerX  10.1.1.97.9674 . doi : 10.1016 / j.jbi.2005.02.008 . PMID  16198999 .
• Mas, Jean-François; Filho, Britaldo Soares; Pontius, hijo, Robert Gilmore; Gutiérrez, Michelle Farfán; Rodrigues, Hermann (2013). "Un conjunto de herramientas para el análisis ROC de modelos espaciales" . Revista internacional de información geográfica ISPRS . 2 (3): 869–887. Código bibliográfico : 2013IJGI .... 2..869M . doi : 10.3390 / ijgi2030869 .
• Pontius, hijo, Robert Gilmore; Parmentier, Benoit (2014). "Recomendaciones para el uso de la característica de funcionamiento relativa (ROC)" . Ecología del paisaje . 29 (3): 367–382. doi : 10.1007 / s10980-013-9984-8 . S2CID  15924380 .
• Pontius, hijo, Robert Gilmore; Pacheco, Pablo (2004). "Calibración y validación de un modelo de perturbación forestal en los Ghats occidentales, India 1920-1990" . GeoJournal . 61 (4): 325–334. doi : 10.1007 / s10708-004-5049-5 . S2CID  155073463 .
• Pontius, hijo, Robert Gilmore; Batchu, Kiran (2003). "Uso de la característica operativa relativa para cuantificar la certeza en la predicción de la ubicación del cambio de cobertura terrestre en la India". Transacciones en GIS . 7 (4): 467–484. doi : 10.1111 / 1467-9671.00159 . S2CID  14452746 .
• Pontius, hijo, Robert Gilmore; Schneider, Laura (2001). "Validación del modelo de cambio de uso de la tierra por un método ROC para la cuenca de Ipswich, Massachusetts, Estados Unidos" . Agricultura, ecosistemas y medio ambiente . 85 (1–3): 239–248. doi : 10.1016 / S0167-8809 (01) 00187-6 .
• Stephan, Carsten; Wesseling, Sebastián; Schink, Tania; Jung, Klaus (2003). "Comparación de ocho programas informáticos para el análisis de las características operativas del receptor" . Química clínica . 49 (3): 433–439. doi : 10.1373 / 49.3.433 . PMID  12600955 .
• Swets, John A .; Dawes, Robyn M .; y Monahan, John (2000); Better Decisions through Science , Scientific American , octubre, págs. 82–87
• Zou, Kelly H .; O'Malley, A. James; Mauri, Laura (2007). "Análisis de las características operativas del receptor para la evaluación de pruebas diagnósticas y modelos predictivos" . Circulación . 115 (5): 654–7. doi : 10.1161 / circulaciónaha.105.594929 . PMID  17283280 .
• Zhou, Xiao-Hua; Obuchowski, Nancy A .; McClish, Donna K. (2002). Métodos estadísticos en medicina diagnóstica . Nueva York, NY: Wiley & Sons. ISBN 978-0-471-34772-9.