El pi de Scott (llamado así por William A. Scott ) es una estadística para medir la confiabilidad entre evaluadores para datos nominales en estudios de comunicación . Las entidades textuales están anotadas con categorías por diferentes anotadores, y se utilizan varias medidas para evaluar el grado de acuerdo entre los anotadores, uno de los cuales es el pi de Scott. Dado que la anotación automática de texto es un problema popular en el procesamiento del lenguaje natural , y el objetivo es lograr que el programa de computadora que se está desarrollando esté de acuerdo con los humanos en las anotaciones que crea, evaluar hasta qué punto los humanos están de acuerdo entre sí es importante para establecer un límite superior razonable en el rendimiento de la computadora.
Introducción
El pi de Scott es similar al kappa de Cohen en que mejoran la concordancia simple observada al tener en cuenta el grado de concordancia que podría esperarse por casualidad. Sin embargo, en cada estadística, el acuerdo esperado se calcula de forma ligeramente diferente. El pi de Scott supone que los anotadores tienen la misma distribución de respuestas, lo que hace que el kappa de Cohen sea un poco más informativo. El pi de Scott se extiende a más de dos anotadores por el kappa de Fleiss .
La ecuación para el pi de Scott, como en el kappa de Cohen , es:
Sin embargo, Pr (e) se calcula usando "proporciones conjuntas" cuadradas que son medias aritméticas cuadradas de las proporciones marginales (mientras que Cohen usa medias geométricas cuadradas de ellas).
Ejemplo resuelto
Matriz de confusión para dos anotadores, tres categorías {Sí, No, Quizás} y 45 elementos calificados (90 calificaciones para 2 anotadores):
sí | No | Quizás | Suma marginal | |
sí | 1 | 2 | 3 | 6 |
No | 4 | 5 | 6 | 15 |
Quizás | 7 | 8 | 9 | 24 |
Suma marginal | 12 | 15 | 18 | 45 |
Para calcular la concordancia esperada, sume los marginales entre los anotadores y divídalos por el número total de calificaciones para obtener proporciones conjuntas. Cuadre y sume estos:
Ann1 | Ann2 | Proporción conjunta | JP al cuadrado | |
sí | 12 | 6 | (12 + 6) / 90 = 0,2 | 0,04 |
No | 15 | 15 | (15 + 15) / 90 = 0,333 | 0,111 |
Quizás | 18 | 24 | (18 + 24) / 90 = 0,467 | 0,218 |
Total | 0.369 |
Para calcular la concordancia observada, divida el número de elementos en los que los anotadores estuvieron de acuerdo por el número total de elementos. En este caso,
Dado que Pr (e) = 0.369, el pi de Scott es entonces
Ver también
Referencias
- Scott, W. (1955). "Fiabilidad del análisis de contenido: el caso de la codificación a escala nominal". Public Opinion Quarterly, 19 (3), 321-325.
- Krippendorff, K. (2004b) "Fiabilidad en el análisis de contenido: algunos conceptos erróneos y recomendaciones comunes". en Investigación en Comunicación Humana. Vol. 30, págs. 411-433.