El coeficiente alfa de Krippendorff , [1] llamado así por el académico Klaus Krippendorff , es una medida estadística del acuerdo alcanzado al codificar un conjunto de unidades de análisis. Desde la década de 1970, el alfa se ha utilizado en el análisis de contenido donde las unidades textuales son categorizadas por lectores capacitados, en el asesoramiento y la investigación de encuestas donde los expertos codifican datos de entrevistas abiertas en términos analizables, en pruebas psicológicas donde las pruebas alternativas de los mismos fenómenos deben ser comparados, o en estudios observacionales en los que se registran sucesos no estructurados para su posterior análisis.
El alfa de Krippendorff generaliza varias estadísticas conocidas, a menudo llamadas medidas de concordancia entre codificadores, confiabilidad entre evaluadores , confiabilidad de codificar conjuntos de unidades dados (a diferencia de la unificación), pero también se distingue de las estadísticas que se denominan coeficientes de confiabilidad pero que no son adecuadas para los detalles de los datos de codificación generados para su análisis posterior.
El alfa de Krippendorff es aplicable a cualquier número de codificadores, cada uno asignando un valor a una unidad de análisis, a datos incompletos (faltantes), a cualquier número de valores disponibles para codificar una variable, a binario, nominal, ordinal, intervalo, relación, polar y métricas circulares ( niveles de medición ), y se ajusta a tamaños de muestra pequeños de los datos de confiabilidad. La virtud de un coeficiente único con estas variaciones es que las confiabilidades calculadas son comparables entre cualquier número de codificadores, valores, métricas diferentes y tamaños de muestra desiguales.
Se encuentra disponible un software para calcular el alfa de Krippendorff. [2] [3] [4] [5] [6] [7] [8] [9]
Datos de confiabilidad
Los datos de confiabilidad se generan en una situación en la que m ≥ 2 se instruye conjuntamente (por ejemplo, mediante un libro de códigos ) pero los codificadores que trabajan de forma independiente asignan cualquiera de un conjunto de valores 1, ..., V a un conjunto común de N unidades de análisis . En su forma canónica, los datos de confiabilidad se tabulan en una matriz m- por- N que contiene N valores v ij que el codificador c i ha asignado a la unidad u j . Defina m j como el número de valores asignados a la unidad j en todos los codificadores c . Cuando los datos están incompletos, m j puede ser menor que m . Los datos de confiabilidad requieren que los valores sean emparejables, es decir, m j ≥ 2. El número total de valores emparejables es n ≤ mN .
Para ayudar a aclarar, así es como se ve la forma canónica, en abstracto:
tú 1 | u 2 | tú 3 | ... | u N | |
---|---|---|---|---|---|
c 1 | v 11 | v 12 | v 13 | ⋯ | v 1 N |
c 2 | v 21 | v 22 | v 23 | ⋯ | v 2 N |
c 3 | v 31 | v 32 | v 33 | ⋯ | v 3 N |
⋮ | ⋮ | ⋮ | ⋮ | ⋱ | ⋮ |
c m | v m 1 | v m 2 | v m 3 | ⋯ | v mN |
Forma general de alfa
Denotamos por el conjunto de todas las respuestas posibles que puede dar un observador. Las respuestas de todos los observadores para un ejemplo se denominan unidades (forman un conjunto múltiple). Denotamos un conjunto múltiple con estas unidades como elementos,.
Alfa viene dado por:
dónde ¿Se observa el desacuerdo y es el desacuerdo esperado por casualidad.
dónde es una función métrica (ver más abajo), es el número total de elementos emparejables, es la cantidad de elementos en una unidad, número de pares en la unidad , y es la función de permutación. Se puede ver que esta es la distancia observada promedio (ponderada) desde la diagonal.
dónde es el número de formas en que el par Puede ser hecho. Se puede ver que esta es la distancia promedio desde la diagonal de todos los posibles pares de respuestas que podrían derivarse del conjunto múltiple de todas las observaciones.
Lo anterior es equivalente a la forma habitual de una vez que se ha simplificado algebraicamente. [10]
Una interpretación del alfa de Krippendorff es:
- indica una fiabilidad perfecta
- indica la ausencia de confiabilidad. Las unidades y los valores que se les asignan no tienen relación estadística.
- cuando los desacuerdos son sistemáticos y superan lo que se puede esperar por casualidad.
En esta forma general, los desacuerdos D o y D e pueden ser conceptualmente transparentes pero computacionalmente ineficientes. Pueden simplificarse algebraicamente, especialmente cuando se expresan en términos de la representación de matriz de coincidencia visualmente más instructiva de los datos de confiabilidad.
Matrices de coincidencia
Una matriz de coincidencia tabula en forma cruzada los n valores emparejables de la forma canónica de los datos de confiabilidad en una matriz cuadrada v por v , donde v es el número de valores disponibles en una variable. A diferencia de las matrices de contingencia, familiares en las estadísticas de asociación y correlación, que tabulan pares de valores ( tabulación cruzada ), una matriz de coincidencia tabula todos los valores emparejados . Una matriz de coincidencia omite las referencias a los codificadores y es simétrica alrededor de su diagonal, que contiene todas las coincidencias perfectas, v iu = v i'u para dos codificadores i e i ' , en todas las unidades u . La matriz de coincidencias observadas contiene frecuencias:
omitiendo valores no apareados, donde I (∘) = 1 si ∘ es verdadero y 0 en caso contrario.
Debido a que una matriz de coincidencia tabula todos los valores emparejados y su contenido suma al total n , cuando hay cuatro o más codificadores involucrados, o ck pueden ser fracciones.
La matriz de coincidencias esperadas contiene frecuencias:
que suman los mismos n c , n k y n que o ck . En términos de estas coincidencias, el alfa de Krippendorff se convierte en:
Funciones de diferencia
Funciones de diferencia [11] entre los valores v y v ' reflejan las propiedades métricas ( niveles de medición ) de su variable.
En general:
En particular:
- Para datos nominales, donde v y v ' sirven como nombres.
- Para datos ordinales, donde v y v ′ son rangos.
- Para datos de intervalo, donde v y v ′ son valores de escala de intervalo.
- Para datos de razón, donde v y v ′ son valores absolutos.
- Para datos polares, donde v min y v max definen los puntos finales de la escala polar.
- Para datos circulares, donde la función seno se expresa en grados y U es la circunferencia o el rango de valores en un círculo o bucle antes de que se repitan. Para métricas circulares de intervalos iguales, los valores enteros más pequeños y más grandes de esta métrica son adyacentes entre sí y U = v más grande - v más pequeño + 1.
Significado
Dado que los enunciados matemáticos de la distribución estadística de alfa son siempre solo aproximaciones, es preferible obtener la distribución alfa mediante bootstrapping . [12] [13] La distribución de Alpha da lugar a dos índices:
- Los intervalos de confianza de un alfa calculado en varios niveles de significación estadística
- La probabilidad de que alfa no logre un mínimo elegido, requerido para que los datos se consideren suficientemente confiables (prueba de una cola). Este índice reconoce que la hipótesis nula (de acuerdo al azar) está tan alejada del rango de coeficientes alfa relevantes que su rechazo significaría poco con respecto a la confiabilidad de los datos dados. Para ser considerados fiables, los datos no deben desviarse significativamente de la concordancia perfecta.
El coeficiente alfa mínimo aceptable debe elegirse de acuerdo con la importancia de las conclusiones que se puedan extraer de los datos imperfectos. Cuando los costos de las conclusiones erróneas son altos, el alfa mínimo también debe establecerse alto. En ausencia de conocimiento de los riesgos de sacar conclusiones falsas a partir de datos no confiables, los científicos sociales comúnmente se basan en datos con confiabilidad α ≥ 0.800, consideran los datos con 0.800> α ≥ 0.667 solo para sacar conclusiones provisionales y descartan los datos cuya concordancia mide α < 0,667. [14]
Un ejemplo computacional
Deje que la forma canónica de los datos de confiabilidad sea una matriz de 3 codificadores por 15 unidades con 45 celdas:
Unidades u: | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 | 13 | 14 | 15 |
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
Codificador A | * | * | * | * | * | 3 | 4 | 1 | 2 | 1 | 1 | 3 | 3 | * | 3 |
Codificador B | 1 | * | 2 | 1 | 3 | 3 | 4 | 3 | * | * | * | * | * | * | * |
Codificador C | * | * | 2 | 1 | 3 | 4 | 4 | * | 2 | 1 | 1 | 3 | 3 | * | 4 |
Supongamos que "*" indica una categoría predeterminada como "no se puede codificar", "no hay respuesta" o "falta una observación". Entonces, * no proporciona información sobre la confiabilidad de los datos en los cuatro valores que importan. Tenga en cuenta que las unidades 2 y 14 no contienen información y la unidad 1 contiene solo un valor, que no se puede emparejar dentro de esa unidad. Por lo tanto, estos datos de confiabilidad consisten no en mN = 45 sino en n = 26 valores emparejados, no en N = 15 sino en 12 unidades de codificación múltiple.
La matriz de coincidencia para estos datos se construiría de la siguiente manera:
- o 11 = {en u = 4}: {en u = 10}: {en u = 11}:
- o 13 = {en u = 8}: o 31
- o 22 = {en u = 3}: {en u = 9}:
- o 33 = {en u = 5}: {en u = 6}: {en u = 12}: {en u = 13}:
- o 34 = {en u = 6}: {en u = 15}: o 43
- o 44 = {en u = 7}:
Valores v o v ′: | 1 | 2 | 3 | 4 | n v |
---|---|---|---|---|---|
Valor 1 | 6 | 1 | 7 | ||
Valor 2 | 4 | 4 | |||
Valor 3 | 1 | 7 | 2 | 10 | |
Valor 4 | 2 | 3 | 5 | ||
Frecuencia n v ' | 7 | 4 | 10 | 5 | 26 |
En términos de las entradas en esta matriz de coincidencia, el alfa de Krippendorff se puede calcular a partir de:
Por conveniencia, porque los productos con y , solo las entradas en uno de los triángulos fuera de la diagonal de la matriz de coincidencia se enumeran a continuación:
Considerando que todos Cuándo para datos nominales, la expresión anterior produce:
Con para datos de intervalo, la expresión anterior produce:
Aquí, porque los desacuerdos ocurren en gran medida entre valores vecinos, visualizados al ocurrir más cerca de la diagonal de la matriz de coincidencia, una condición que toma en cuenta pero no es. Cuando las frecuencias observadas o v ≠ v ′ son en promedio proporcionales a las frecuencias esperadas e v ≠ v ' ,.
La comparación de coeficientes alfa en diferentes métricas puede proporcionar pistas sobre cómo los codificadores conceptualizan la métrica de una variable.
El abrazo de Alpha a otras estadísticas
El alfa de Krippendorff reúne varias estadísticas conocidas bajo un mismo paraguas, cada una de ellas tiene sus propias limitaciones pero no virtudes adicionales.
- El pi de Scott [15] es un coeficiente de concordancia para datos nominales y dos codificadores. Cuando los datos son nominales, alfa se reduce a una forma que se asemeja al pi de Scott :Proporción de acuerdo observada de Scott aparece en el numerador alfa , exactamente. La proporción esperada de acuerdo de Scott, se aproxima asintóticamente por cuando el tamaño de la muestra n es grande, igual cuando es infinito. De ello se deduce que el pi de Scott es ese caso especial de alfa en el que dos codificadores generan una muestra muy grande de datos nominales. Para tamaños de muestra finitos:. Evidentemente,.
- El kappa de Fleiss [16] es un coeficiente de concordancia para datos nominales con tamaños de muestra muy grandes donde un conjunto de codificadores ha asignado exactamente m etiquetas a todas las N unidades sin excepción (pero tenga en cuenta que puede haber más de m codificadores, y solo algunos etiqueta de subconjunto cada instancia). Fleiss afirmó haber extendido el kappa de Cohen [17] a tres o más evaluadores o codificadores, pero en su lugar generalizó el pi de Scott . Esta confusión se refleja en la elección de Fleiss de su nombre, que ha sido reconocido al renombrarlo K : [18]Cuando los tamaños de muestra son finitos, se puede ver que K perpetra la inconsistencia de obtener la proporción de acuerdos observadoscontando coincidencias dentro de los m ( m - 1) posibles pares de valores dentro de u , excluyendo correctamente los valores emparejados con ellos mismos, mientras que la proporciónse obtiene contando coincidencias dentro de todos ( mN ) 2 = n 2 pares de valores posibles, incluidos efectivamente los valores emparejados con ellos mismos. Es este último el que introduce un sesgo en el coeficiente. Sin embargo, al igual que para pi , cuando los tamaños de muestra se vuelven muy grandes, este sesgo desaparece y la proporciónen nominal α anterior asintóticamente se aproximaen K . Sin embargo, la kappa de Fleiss , o más bien K , se cruza con alfa en esa situación especial en la que un número fijo de m codificadores codifican todas las N unidades (no faltan datos), utilizando categorías nominales, y el tamaño de la muestra n = mN es muy grande. grande, teóricamente infinito.
- El coeficiente de correlación de rango de Spearman rho [19] mide la concordancia entre la clasificación de dos codificadores del mismo conjunto de N objetos. En su forma original: dónde es la suma de N diferencias entre el rango c de un codificador y el rango k del otro codificador del mismo objeto u . Mientras que alfa representa los rangos empatados en términos de sus frecuencias para todos los codificadores, rho los promedia en la instancia de cada codificador individual. A falta de atadurasnumerador y denominador , donde n = 2 N , que se convierte encuando el tamaño de la muestra aumenta. Entonces, la rho de Spearman es ese caso especial de alfa en el que dos codificadores clasifican un conjunto muy grande de unidades. De nuevo, y .
- El coeficiente de correlación intraclase de Pearson r ii es un coeficiente de concordancia para datos de intervalo, dos codificadores y tamaños de muestra muy grandes. Para obtenerlo, la sugerencia original de Pearson era ingresar los pares de valores observados dos veces en una tabla, una como c - k y otra como k - c , a la que luego se aplica el coeficiente de correlación producto-momento tradicional de Pearson . [20] Al ingresar pares de valores dos veces, la tabla resultante se convierte en una matriz de coincidencia sin referencia a los dos codificadores, contiene n = 2 N valores y es simétrica alrededor de la diagonal, es decir, la línea de regresión lineal conjunta se fuerza a 45 °, y se eliminan las referencias a codificadores. Por lo tanto, el coeficiente de correlación intraclase de Pearson es ese caso especial de intervalo alfa para dos codificadores y tamaños de muestra grandes, y .
- Finalmente, los desacuerdos en el intervalo alfa , D u , D o y D e son varianzas muestrales adecuadas . [21] De ello se deduce que la fiabilidad que evalúa el intervalo alfa es coherente con todas las técnicas analíticas basadas en la varianza, como el análisis de varianza . Además, al incorporar funciones de diferencia no solo para datos de intervalo sino también para datos nominales, ordinales, de razón, polares y circulares, alfa extiende la noción de varianza a métricas que las técnicas analíticas clásicas rara vez abordan.
El alfa de Krippendorff es más general que cualquiera de estos coeficientes de propósito especial. Se ajusta a diferentes tamaños de muestra y permite comparaciones entre una amplia variedad de datos de confiabilidad, en su mayoría ignorados por las medidas familiares.
Coeficientes incompatibles con alfa y la fiabilidad de la codificación
Semánticamente, la confiabilidad es la capacidad de confiar en algo, aquí en datos codificados para un análisis posterior. Cuando un número suficientemente grande de codificadores está de acuerdo perfectamente con lo que han leído u observado, confiar en sus descripciones es una apuesta segura. Los juicios de este tipo dependen del número de codificadores que duplican el proceso y cuán representativas son las unidades codificadas de la población de interés. Los problemas de interpretación surgen cuando el acuerdo no es perfecto, especialmente cuando no hay fiabilidad.
- Coeficientes de correlación y asociación. El coeficiente de correlación producto-momento de Pearson r ij , por ejemplo, mide las desviaciones de cualquier línea de regresión lineal entre las coordenadas de i y j . A menos que la línea de regresión sea exactamente 45 ° o centrada, r ij no mide la concordancia. De manera similar, mientras que la concordancia perfecta entre codificadores también significa una asociación perfecta, las estadísticas de asociación registran cualquier patrón de probabilidad de relaciones entre variables. No distinguen el acuerdo de otras asociaciones y, por tanto, no son adecuadas como medidas de fiabilidad.
- Coeficientes que miden el grado en que los codificadores son estadísticamente dependientes entre sí. Cuando está en juego la fiabilidad de los datos codificados, la individualidad de los codificadores no puede tener cabida en ello. Los codificadores deben tratarse como intercambiables. Alpha , el pi de Scott y la correlación intraclase original de Pearson logran esto al ser definibles como una función de coincidencias, no solo de contingencias. A diferencia de las matrices de contingencia más familiares, que tabulan N pares de valores y mantienen la referencia a los dos codificadores, las matrices de coincidencia tabulan los n valores pareables utilizados en la codificación, independientemente de quién los contribuyó, de hecho tratando a los codificadores como intercambiables. La kappa de Cohen , [22] por el contrario, define la concordancia esperada en términos de contingencias, como la concordancia que se esperaría si los codificadores fueran estadísticamente independientes entre sí. [23] La concepción de Cohen del azar no incluye los desacuerdos entre las predilecciones individuales de los codificadores por categorías particulares, castiga a los codificadores que están de acuerdo en el uso de categorías y recompensa a aquellos que no están de acuerdo con valores kappa más altos . Esta es la causa de otras notables rarezas de kappa . [24] La independencia estadística de los codificadores está sólo marginalmente relacionada con la independencia estadística de las unidades codificadas y los valores que se les asignan. El kappa de Cohen , al ignorar los desacuerdos cruciales, puede volverse engañosamente grande cuando se va a evaluar la confiabilidad de los datos de codificación.
- Coeficientes que miden la consistencia de los juicios del codificador. En la literatura psicométrica, [25] la confiabilidad tiende a definirse como la consistencia con la que se desempeñan varias pruebas cuando se aplican a un conjunto común de características individuales. El alfa de Cronbach , [26] por ejemplo, está diseñado para evaluar el grado en que múltiples pruebas producen resultados correlacionados. La concordancia perfecta es lo ideal, por supuesto, pero el alfa de Cronbach es alto también cuando los resultados de las pruebas varían sistemáticamente. La coherencia de los juicios de los codificadores no proporciona las garantías necesarias de fiabilidad de los datos. Cualquier desviación de juicios idénticos, sistemática o aleatoria, debe contarse como desacuerdo y reducir la confiabilidad medida. El alfa de Cronbach no está diseñado para responder a diferencias absolutas.
- Coeficientes con líneas de base (condiciones en las que miden 0) que no pueden interpretarse en términos de confiabilidad, es decir, no tienen un valor dedicado para indicar cuando las unidades y los valores que se les asignan no tienen relación estadística. El porcentaje de acuerdo simple varía de 0 = desacuerdo extremo a 100 = acuerdo perfecto con el azar sin valor definido. Como ya se señaló, la kappa de Cohen entra en esta categoría al definir la ausencia de confiabilidad como la independencia estadística entre dos codificadores individuales. La línea de base de la S [27] de Bennett, Alpert y Goldstein se define en términos del número de valores disponibles para la codificación, lo que tiene poco que ver con cómo se utilizan realmente los valores. La lambda r [28] de Goodman y Kruskal se define para variar entre –1 y +1, dejando 0 sin una interpretación de confiabilidad particular. De Lin reproducibilidad o coeficiente de concordancia r c [29] toma de Pearson del momento del producto de correlación r ij como una medida de precisión y se agrega a él una medida C b de exactitud, ostensivamente para corregir r ij ' es por encima de insuficiencia mencionado. Varía entre –1 y +1 y la interpretación de confiabilidad de 0 es incierta. Existen más medidas de confiabilidad cuyas interpretaciones de confiabilidad se vuelven cuestionables tan pronto como se desvían de la concordancia perfecta.
Nombrar una estadística como una de concordancia, reproducibilidad o confiabilidad no la convierte en un índice válido de si uno puede confiar en datos codificados en decisiones posteriores. Su estructura matemática debe ajustarse al proceso de codificar unidades en un sistema de términos analizables.
Notas
- ^ Krippendorff, K. (2013) pp. 221-250 describe las matemáticas de alfa y su uso en el análisis de contenido desde 1969.
- ^ Hayes, AF y Krippendorff, K. (2007) describen y proporcionan macros SPSS y SAS para calcular alfa , sus límites de confianza y la probabilidad de no alcanzar un mínimo elegido.
- ^ Manual de referencia del paquete irr que contiene la función kripp.alpha () para el paquete de estadísticas independiente de la plataforma R
- ^ La página de recursos Alpha.
- ^ Código de Matlab para calcular el alfa de Krippendorff.
- ^ Código Python para calcular el alfa de Krippendorff.
- ^ Código Python para el cálculo rápido alfa de Krippendorff.
- ^ Están disponibles varias adiciones escritas por el usuario al software comercial Stata.
- ^ Implementación de Python de código abierto que admite marcos de datos
- ^ Honor, David. "Comprensión del Alfa de Krippendorff" (PDF) .
- ^ Computación de la confiabilidad alfa de Krippendorff ” http://repository.upenn.edu/asc_papers/43/
- ^ Krippendorff, K. (2004) págs. 237-238
- ^ Hayes, AF & Krippendorff, K. (2007) Respondiendo a la solicitud de una medida de confiabilidad estándar para la codificación de datos [1]
- ^ Krippendorff, K. (2004) págs. 241–243
- ↑ Scott, WA (1955)
- ^ Fleiss, JL (1971)
- ↑ Cohen, J. (1960)
- ^ Siegel, S. y Castellan, NJ (1988), págs. 284-291.
- ↑ Spearman, CE (1904)
- ↑ Pearson, K. (1901), Tildesley, ML (1921)
- ↑ Krippendorff, K. (1970)
- ↑ Cohen, J. (1960)
- ^ Krippendorff, K. (1978) planteó este problema a Joseph Fleiss
- ^ Zwick, R. (1988), Brennan, RL y Prediger, DJ (1981), Krippendorff (1978, 2004).
- ^ Nunnally, JC y Bernstein, IH (1994)
- ↑ Cronbach, LJ (1951)
- ^ Bennett, EM, Alpert, R. y Goldstein, AC (1954)
- ^ Goodman, LA y Kruskal, WH (1954) p. 758
- ↑ Lin, LI (1989)
- K. Krippendorff, 2013, Análisis de contenido: una introducción a su metodología, 3ª ed. Thousand Oaks, CA, EE.UU .: Sage, PP. 221–250
Referencias
- Bennett, Edward M., Alpert, R. y Goldstein, AC (1954). Comunicaciones a través de preguntas de respuesta limitada. Public Opinion Quarterly, 18 , 303–308.
- Brennan, Robert L. y Prediger, Dale J. (1981). Coeficiente kappa: algunos usos, usos indebidos y alternativas. Medición educativa y psicológica, 41 , 687–699.
- Cohen, Jacob (1960). Un coeficiente de acuerdo a las escalas nominales. Medición educativa y psicológica, 20 (1), 37–46.
- Cronbach, Lee, J. (1951). Coeficiente alfa y la estructura interna de pruebas. Psychometrika, 16 (3), 297–334.
- Fleiss, Joseph L. (1971). Medir el acuerdo de escala nominal entre muchos evaluadores. Psychological Bulletin, 76 , 378–382.
- Goodman, Leo A. y Kruskal, William H. (1954). Medidas de asociación para clasificaciones cruzadas. Revista de la Asociación Estadounidense de Estadística, 49 , 732–764.
- Hayes, Andrew F. y Krippendorff, Klaus (2007). Respondiendo a la llamada de una medida estándar de confiabilidad para codificar datos. Métodos y medidas de comunicación, 1 , 77–89.
- Krippendorff, Klaus (2013). Análisis de contenido: Introducción a su metodología, 3ª edición . Thousand Oaks, CA: Sage.
- Krippendorff, Klaus (1978). Fiabilidad de los datos de atributos binarios. Biometrics, 34 (1), 142-144.
- Krippendorff, Klaus (1970). Estimación de la confiabilidad, el error sistemático y el error aleatorio de los datos de intervalo. Medición educativa y psicológica, 30 (1), 61–70.
- Lin, Lawrence I. (1989). Un coeficiente de correlación de concordancia para evaluar la reproducibilidad. Biometrics, 45 , 255–268.
- Nunnally, Jum C. y Bernstein, Ira H. (1994). Teoría psicométrica, 3ª ed . Nueva York: McGraw-Hill.
- Pearson, Karl y col. (1901). Contribuciones matemáticas a la teoría de la evolución. IX: Sobre el principio de homotiposis y su relación con la herencia, con la variabilidad del individuo y con la de raza. Parte I: Homotiposis en el reino vegetal. Transacciones filosóficas de la Royal Society (Londres), Serie A, 197 , 285–379.
- Scott, William A. (1955). Fiabilidad del análisis de contenido: el caso de la codificación a escala nominal. Public Opinion Quarterly, 19 , 321–325.
- Siegel, Sydney y Castella, N. John (1988). Estadística no paramétrica para las ciencias del comportamiento, 2ª ed . Boston: McGraw-Hill.
- Tildesley, ML (1921). Un primer estudio del cráneo de Burmes. Biometrica, 13 , 176–267.
- Spearman, Charles E. (1904). La prueba y medida de asociación entre dos cosas. Revista Estadounidense de Psicología, 15 , 72-101.
- Zwick, Rebecca (1988). Otro vistazo al acuerdo entre evaluadores. Psychological Bulletin, 103 (3), 347–387.
enlaces externos
- Video de Youtube sobre el alfa de Krippendorff usando SPSS y una macro.
- La calculadora de confiabilidad calcula el alfa de Krippendorff.
- Implementación y biblioteca Krippendorff Alpha Javascript
- Implementación de Python
- Implementación y biblioteca Krippendorff Alpha Ruby Gem .
- Implementación de Python de Simpledorff que funciona con Dataframes