Statcheck es un paquete R diseñado para detectar errores estadísticos en artículos de psicología revisados por pares [1] mediante la búsqueda de resultados estadísticos en artículos, rehaciendo los cálculos descritos en cada artículo y comparando los dos valores para ver si coinciden. [2] Aprovecha el hecho de que los artículos de investigación psicológica tienden a informar sus resultados de acuerdo con las pautas publicadas por la Asociación Americana de Psicología (APA). [3] Esto lleva a varias desventajas: solo puede detectar los resultados informados de manera completa y exacta de acuerdo con las pautas de la APA, [4]y no puede detectar estadísticas que solo se incluyen en tablas en el documento. [5] Otra limitación es que Statcheck no puede manejar correcciones estadísticas para probar estadísticas, como las correcciones de Greenhouse-Geisser o Bonferroni, que en realidad hacen que las pruebas sean más conservadoras. [6] Algunas revistas han comenzado a probar Statcheck como parte de su proceso de revisión por pares . Statcheck es un software gratuito publicado bajo GNU GPL v3. [7]
Validez
En 2017, los desarrolladores de Statcheck publicaron un pre-impresión de conclusión de papel que el programa identifica con precisión los errores estadísticos más del 95% de las veces. [8] Este estudio de validez comprendió más de 1,000 pruebas verificadas manualmente, de las cuales el 5,00% resultó ser inconsistente. [9] El estudio encontró que Statcheck reconoció el 60% de todas las pruebas estadísticas. Un nuevo análisis de estos datos encontró que si el programa marcaba una prueba como inconsistente, era correcta en el 60,4% de los casos. A la inversa, si una prueba era realmente inconsistente, Statcheck la marcó en aproximadamente el 51,8% de los casos (esta estimación incluyó las pruebas no detectadas y asumió que tenían la misma tasa de inconsistencias que las pruebas detectadas). En general, la precisión de Statcheck fue del 95,9%, medio punto porcentual más alto que el nivel de probabilidad del 95,4% esperado cuando todas las pruebas se toman simplemente al pie de la letra. Statcheck tuvo un sesgo conservador (en aproximadamente una desviación estándar) contra las pruebas de marcado. [10]
Investigaciones más recientes han utilizado Statcheck en artículos publicados en revistas de psicología canadienses , encontrando tasas similares de errores en los informes estadísticos que los autores originales basados en una muestra de 30 años de dichos artículos. El mismo estudio también encontró muchos errores tipográficos en las versiones en línea de artículos relativamente antiguos, y que corregirlos redujo el porcentaje estimado de pruebas que se informaron erróneamente. [11]
Historia
Statcheck fue desarrollado por primera vez en 2015 por Michele Nuijten de la Universidad de Tilburg y Sacha Epskamp de la Universidad de Amsterdam . [12] [8] Más tarde ese año, Nuijten y sus colegas publicaron un artículo usando Statcheck en más de 30,000 artículos de psicología e informaron que "la mitad de todos los artículos de psicología publicados ... contenían al menos un valor p que era inconsistente con su prueba ". [13] Posteriormente, el estudio se redactó favorablemente en Nature . [14] [15] En 2016, Nuijten y Epskamp recibieron el Premio Leamer-Rosenthal de Ciencias Sociales Abiertas de la Iniciativa de Berkeley para la Transparencia en las Ciencias Sociales por la creación de Statcheck. [dieciséis]
En 2016, el investigador de la Universidad de Tilburg, Chris Hartgerink, utilizó Statcheck para escanear más de 50.000 artículos de psicología y publicó los resultados en PubPeer ; posteriormente publicó los datos que extrajo de estos trabajos en un artículo en la revista Data . [14] [17] Hartgerink le dijo a Motherboard que "Estamos comprobando qué tan confiable es la ciencia real que presenta la ciencia". [18] También le dijo a Vox que tenía la intención de usar Statcheck para realizar una función similar a un programa de software de corrector ortográfico . [12] La acción de Hartgerink también envió alertas por correo electrónico a cada investigador que había sido autor o coautor de un artículo que había marcado. Estos flaggings, y su publicación en un foro público, resultaron controvertidos, lo que llevó a la Sociedad Alemana de Psicología a emitir una declaración condenando este uso de Statcheck. [14] La psicóloga Dorothy VM Bishop , que tenía dos de sus propios artículos marcados por Statcheck, criticó el programa por marcar públicamente muchos artículos (incluido uno propio) a pesar de no haber encontrado ningún error estadístico en él. [19] Otros críticos alegaron que Statcheck había informado de la presencia de errores en artículos que en realidad no los contenían, debido a que la herramienta no pudo leer correctamente las estadísticas de ciertos artículos. [20]
Las revistas que han comenzado a probar el uso de Statcheck como parte de su proceso de revisión por pares incluyen Psychological Science , [21] la Revista Canadiense de Sexualidad Humana , [22] y la Revista de Psicología Social Experimental . [23] El editor de acceso abierto PsychOpen también lo ha utilizado en todos los artículos aceptados para su publicación en sus revistas desde 2017. [24]
Ver también
- Abuso de estadísticas
- Mal uso de valores p
- Metaciencia
Referencias
- ↑ Nuijten, Michèle B. (28 de febrero de 2017). "BayesMed y statcheck" . Observador de Aps . 30 (3) . Consultado el 18 de octubre de 2018 .
- ^ Baker, Monya (25 de noviembre de 2016). "El software de verificación de estadísticas despierta la psicología" . Naturaleza . 540 (7631): 151-152. Código Bib : 2016Natur.540..151B . doi : 10.1038 / 540151a . ISSN 0028-0836 . PMID 27905454 .
- ^ Wren, Jonathan D. (15 de junio de 2018). "Externalización algorítmica de la detección de errores estadísticos y otros problemas" . El diario EMBO . 37 (12): e99651. doi : 10.15252 / embj.201899651 . ISSN 0261-4189 . PMC 6003655 . PMID 29794111 .
- ^ Colombo, Matteo; Duev, Georgi; Nuijten, Michèle B .; Sprenger, enero (12 de abril de 2018). "Incoherencias de informes estadísticos en la filosofía experimental" . PLOS ONE . 13 (4): e0194360. Código bibliográfico : 2018PLoSO..1394360C . doi : 10.1371 / journal.pone.0194360 . ISSN 1932-6203 . PMC 5896892 . PMID 29649220 .
- ^ van der Zee, Tim; Anaya, Jordania; Brown, Nicholas JL (10 de julio de 2017). "Acidez estomacal estadística: un intento de digerir cuatro publicaciones de pizza del Laboratorio de marcas y alimentos de Cornell" . BMC Nutrition . 3 (1): 54. doi : 10.1186 / s40795-017-0167-x . ISSN 2055-0928 . PMC 7050813 . PMID 32153834 .
- ^ Schmidt, Thomas (2016). "Fuentes de falsos positivos y falsos negativos en el algoritmo Statcheck". arXiv : 1610.01010 [ q-bio.QM ].
- ^ https://github.com/MicheleNuijten/statcheck/blob/master/DESCRIPTION
- ^ a b Chawla, Dalmeet Singh (28 de noviembre de 2017). "El software controvertido está demostrando ser sorprendentemente preciso para detectar errores en los artículos de psicología" . Ciencia . Consultado el 18 de octubre de 2018 .
- ^ Nuijten, Michèle B. "La validez de la herramienta" Statcheck "en el descubrimiento de inconsistencias en los informes estadísticos" . PsyArXiv .
- ^ Schmidt, Thomas. "Statcheck no funciona: todos los números" . PsyArXiv .
- ^ Green, Christopher D .; Abbas, Sahir; Belliveau, Arlie; Beribisky, Nataly; Davidson, Ian J .; DiGiovanni, Julian; Heidari, Crystal; Martin, Shane M .; Oosenbrug, Eric (agosto de 2018). "Statcheck en Canadá: ¿Qué proporción de artículos de revistas de CPA contienen errores en el informe de los valores p?" . Psicología canadiense . 59 (3): 203–210. doi : 10.1037 / cap0000139 . ISSN 1878-7304 . S2CID 149813772 .
- ^ a b Resnick, Brian (30 de septiembre de 2016). "Un bot rastreó miles de estudios en busca de errores matemáticos simples. Los resultados son preocupantes" . Vox . Consultado el 18 de octubre de 2018 .
- ^ Nuijten, Michèle B .; Hartgerink, Chris HJ; van Assen, Marcel ALM; Epskamp, Sacha; Wicherts, Jelte M. (23 de octubre de 2015). "La prevalencia de errores de informes estadísticos en psicología (1985-2013)" . Métodos de investigación del comportamiento . 48 (4): 1205-1226. doi : 10.3758 / s13428-015-0664-2 . ISSN 1554-3528 . PMC 5101263 . PMID 26497820 .
- ^ a b c Buranyi, Stephen (1 de febrero de 2017). "La guerra de alta tecnología contra el fraude científico" . The Guardian . Consultado el 18 de octubre de 2018 .
- ^ Baker, Monya (28 de octubre de 2015). "El software inteligente detecta errores estadísticos en artículos de psicología" . Naturaleza . doi : 10.1038 / nature.2015.18657 . ISSN 1476-4687 . S2CID 187878096 . Consultado el 19 de octubre de 2018 .
- ^ "Michèle Nuijten" . Iniciativa de Berkeley para la transparencia en las ciencias sociales . 2016-12-16 . Consultado el 19 de octubre de 2018 .
- ^ Hartgerink, Chris (23 de septiembre de 2016). "688.112 resultados estadísticos: artículos de psicología de minería de contenido para resultados de pruebas estadísticas" . Datos . 1 (3): 14. doi : 10.3390 / data1030014 .
- ^ Buranyi, Stephen (5 de septiembre de 2016). "Los científicos están preocupados por la 'revisión por pares por algoritmo ' " . Placa base . Consultado el 18 de octubre de 2018 .
- ^ "He aquí por qué más de 50.000 estudios de psicología están a punto de tener entradas PubPeer" . Reloj de retracción . 2016-09-02 . Consultado el 18 de octubre de 2018 .
- ^ Stokstad, Erik (21 de septiembre de 2018). "El escuadrón de la verdad". Ciencia . 361 (6408): 1189–1191. Código bibliográfico : 2018Sci ... 361.1189S . doi : 10.1126 / science.361.6408.1189 . ISSN 0036-8075 . PMID 30237339 .
- ^ Freedman, Leonard P .; Venugopalan, Gautham; Wisman, Rosann (2 de mayo de 2017). "Reproducibility2020: Avances y prioridades" . F1000Research . 6 : 604. doi : 10.12688 / f1000research.11334.1 . ISSN 2046-1402 . PMC 5461896 . PMID 28620458 .
- ^ Sakaluk, John K .; Graham, Cynthia A. (17 de noviembre de 2017). "Promoción de informes transparentes de conflictos de intereses y análisis estadísticos en The Journal of Sex Research" . The Journal of Sex Research . 55 (1): 1–6. doi : 10.1080 / 00224499.2017.1395387 . ISSN 0022-4499 . PMID 29148841 .
- ^ JESP está probando el uso de statcheck . Revista de Psicología Social Experimental . Consultado el 19 de octubre de 2018 .
- ^ "PsychOpen utiliza la herramienta Statcheck para el control de calidad" . PsychOpen . 2017-04-10 . Consultado el 23 de octubre de 2018 .
enlaces externos
- Página web oficial
- statcheck .io