La crisis de replicación (también llamada crisis de replicabilidad y crisis de reproducibilidad ) es una crisis metodológica en curso en la que se ha encontrado que muchos estudios científicos son difíciles o imposibles de replicar o reproducir . La crisis de replicación afecta más severamente a las ciencias sociales y la medicina , [2] [3] [ verificación fallida ] mientras que los datos de la encuesta indican claramente que todas las ciencias naturales probablemente también estén implicadas. [4] La frase se acuñó a principios de la década de 2010 [5]como parte de una creciente conciencia del problema. La crisis de la replicación representa un importante cuerpo de investigación en el campo de la metaciencia . [6]
Debido a que la reproducibilidad de los resultados experimentales es una parte esencial del método científico , [7] la incapacidad de replicar los estudios de otros tiene consecuencias potencialmente graves para muchos campos de la ciencia en los que las teorías significativas se basan en trabajos experimentales irreproducibles. La crisis de la replicación se ha debatido de forma particularmente amplia en los campos de la medicina, donde se han realizado varios esfuerzos para volver a investigar los resultados clásicos, para determinar tanto la fiabilidad de los resultados como, si se considera que no son fiables, las razones del fracaso de replicación. [8] [9]
Alcance
General
Una encuesta de 2016 de 1.500 científicos realizada por Nature informó que el 70% de ellos no había podido reproducir al menos el experimento de otro científico (incluido el 87% de los químicos , el 77% de los biólogos , el 69% de los físicos e ingenieros , el 67% de los investigadores médicos , 64% de los científicos de la tierra y del medio ambiente , y 62% de todos los demás), mientras que el 50% no había podido reproducir uno de sus propios experimentos, y menos del 20% había sido contactado por otro investigador que no pudo reproducir su trabajo. Solo una minoría había intentado publicar una réplica, y aunque el 24% había podido publicar una réplica exitosa, solo el 13% había publicado una réplica fallida , y varios encuestados que habían publicado réplicas fallidas señalaron que los editores y revisores exigían que jugaran. comparaciones con los estudios originales. [4] [10] En 2009, el 2% de los científicos admitió haber falsificado estudios al menos una vez y el 14% admitió conocer personalmente a alguien que lo hizo. Según un estudio, tal mala conducta fue reportada con más frecuencia por investigadores médicos que por otros. [11]
En psicologia
Varios factores se han combinado para colocar a la psicología en el centro de la controversia. [12] Según una encuesta de 2018 de 200 metanálisis, "la investigación psicológica está, en promedio, afectada por un bajo poder estadístico". [13] Gran parte de la atención se ha centrado en el área de la psicología social , [14] aunque también se han implicado otras áreas de la psicología como la psicología clínica , [15] [16] la psicología del desarrollo , [17] y la investigación educativa . [18] [19]
En primer lugar, las prácticas de investigación cuestionables (QRP) se han identificado como comunes en el campo. [20] Estas prácticas, aunque no son intencionalmente fraudulentas, implican capitalizar el área gris de las prácticas científicas aceptables o explotar la flexibilidad en la recopilación, el análisis y la notificación de datos, a menudo en un esfuerzo por obtener el resultado deseado. Ejemplos de QRP incluyen informes selectivos o publicación parcial de datos (informando solo algunas de las condiciones del estudio o medidas dependientes recopiladas en una publicación), detención opcional (elegir cuándo detener la recopilación de datos , a menudo basada en la significancia estadística de las pruebas), post-hoc narración de historias (enmarcar análisis exploratorios como análisis confirmatorios) y manipulación de valores atípicos (ya sea eliminando valores atípicos o dejando valores atípicos en un conjunto de datos para hacer que una prueba estadística sea significativa). [20] [21] [22] [23] Una encuesta de más de 2.000 psicólogos indicó que la mayoría de los encuestados admitió haber utilizado al menos un QRP. [20] El sesgo de publicación (consulte la sección "Causas" a continuación) conduce a un número elevado de resultados falsos positivos . Se ve aumentado por la presión para publicar , así como por el sesgo de confirmación del propio autor y es un peligro inherente en el campo, que requiere un cierto grado de escepticismo por parte de los lectores. [24]
En segundo lugar, la psicología y la psicología social en particular, se han encontrado en el centro de varios escándalos que involucran investigaciones completamente fraudulentas , sobre todo la fabricación de datos admitida por Diederik Stapel [25] , así como las acusaciones contra otros. Sin embargo, la mayoría de los eruditos [ ¿quién? ] reconocen que el fraude es, quizás, la menor contribución a las crisis de replicación.
En tercer lugar, se ha descubierto que varios efectos en la ciencia psicológica son difíciles de replicar incluso antes de la actual crisis de replicación. Por ejemplo, la revista científica Judgement and Decision Making ha publicado varios estudios a lo largo de los años que no brindan apoyo a la teoría del pensamiento inconsciente . Las réplicas parecen particularmente difíciles cuando los ensayos de investigación están prerregistrados y son realizados por grupos de investigación que no están muy interesados en la teoría que se cuestiona.
Estos tres elementos juntos han dado como resultado una atención renovada para la replicación apoyada por el psicólogo Daniel Kahneman . [26] El escrutinio de muchos efectos ha demostrado que varias creencias fundamentales son difíciles de replicar. Se encontró que una edición especial de 2014 de la revista Social Psychology se centró en estudios de replicación y se encontró que varias creencias sostenidas anteriormente eran difíciles de replicar. [27] Una edición especial de 2012 de la revista Perspectives on Psychological Science también se centró en cuestiones que van desde el sesgo de publicación hasta la nula aversión que contribuyen a las crisis de replicación en psicología. [28] En 2015, se publicó el primer estudio empírico abierto sobre reproducibilidad en psicología, llamado Reproducibility Project . Investigadores de todo el mundo colaboraron para reproducir 100 estudios empíricos de tres de las principales revistas de psicología. Menos de la mitad de los intentos de réplica tuvieron éxito en producir resultados estadísticamente significativos en las direcciones esperadas, aunque la mayoría de los intentos de réplica produjeron tendencias en las direcciones esperadas. [29]
Muchos ensayos de investigación y metanálisis se ven comprometidos por la mala calidad y los conflictos de intereses que involucran tanto a los autores como a las organizaciones de defensa profesional , lo que resulta en muchos falsos positivos con respecto a la efectividad de ciertos tipos de psicoterapia . [30]
Aunque el periódico británico The Independent escribió que los resultados del proyecto de reproducibilidad muestran que gran parte de la investigación publicada es simplemente " balbuceo psicológico ", [31] la crisis de replicación no significa necesariamente que la psicología no sea científica. [32] [33] [34] Más bien, este proceso es parte del proceso científico en el que se podan las viejas ideas o aquellas que no pueden resistir un escrutinio cuidadoso, [35] [36] aunque este proceso de poda no siempre es efectivo. [37] [38] La consecuencia es que algunas áreas de la psicología que alguna vez se consideraron sólidas, como la preparación social , se han sometido a un mayor escrutinio debido a replicaciones fallidas. [39]
El premio Nobel y profesor emérito de psicología Daniel Kahneman argumentó que los autores originales deberían participar en el esfuerzo de replicación porque los métodos publicados suelen ser demasiado vagos. [40] Otros, como Andrew Wilson, no están de acuerdo, argumentando que los métodos deben escribirse en detalle. [40] Una investigación de las tasas de replicación en psicología en 2012 indicó tasas de éxito de replicación más altas en los estudios de replicación cuando hubo superposición de autores con los autores originales de un estudio [41] (91,7% de tasas de replicación exitosa en estudios con superposición de autores en comparación con 64,6 % de tasas de replicación exitosas sin superposición de autores).
El enfoque en la crisis de la replicación ha llevado a otros esfuerzos renovados en la disciplina para volver a probar hallazgos importantes. [24] [42] En respuesta a las preocupaciones sobre el sesgo de publicación y el p- pirateo , más de 140 revistas de psicología han adoptado una revisión por pares ciega a los resultados donde los estudios se aceptan no sobre la base de sus hallazgos y después de que se completan, sino antes los estudios se realizan y se basan en el rigor metodológico de sus diseños experimentales y las justificaciones teóricas de sus técnicas de análisis estadístico antes de realizar la recolección o análisis de datos. [43] El análisis inicial de este procedimiento ha estimado que el 61 por ciento de los estudios ciegos a los resultados han dado lugar a resultados nulos , en contraste con un estimado del 5 al 20 por ciento en investigaciones anteriores. [44] Además, las colaboraciones a gran escala entre investigadores que trabajan en múltiples laboratorios en diferentes países y que regularmente hacen que sus datos estén disponibles abiertamente para que diferentes investigadores los evalúen se han vuelto mucho más comunes en el campo. [45]
Tasas de replicación de la psicología
Un informe de Open Science Collaboration en agosto de 2015 que fue coordinado por Brian Nosek estimó la reproducibilidad de 100 estudios en ciencia psicológica de tres revistas de psicología de alto rango. [46] En general, el 36% de las réplicas arrojaron resultados significativos ( valor de p por debajo de 0,05) en comparación con el 97% de los estudios originales que tuvieron efectos significativos. El tamaño medio del efecto en las repeticiones fue aproximadamente la mitad de la magnitud de los efectos informados en los estudios originales.
El mismo artículo examinó las tasas de reproducibilidad y los tamaños del efecto por revista ( Journal of Personality and Social Psychology [JPSP], Journal of Experimental Psychology: Learning, Memory, and Cognition [JEP: LMC], Psychological Science [PSCI]) y disciplina ( social psicología , psicología del desarrollo ). Las tasas de replicación del estudio fueron del 23% para JPSP, 48% para JEP: LMC y 38% para PSCI. Los estudios en el campo de la psicología cognitiva tuvieron una tasa de replicación más alta (50%) que los estudios en el campo de la psicología social (25%). [47]
Un análisis del historial de publicaciones en las 100 principales revistas de psicología entre 1900 y 2012 indicó que aproximadamente el 1,6% de todas las publicaciones de psicología fueron intentos de replicación. [41] Los artículos se consideraron un intento de reproducción si el término "reproducción" aparecía en el texto. Un subconjunto de esos estudios (500 estudios) se seleccionó al azar para un examen más detallado y arrojó una tasa de replicación más baja del 1.07% (342 de los 500 estudios [68.4%] fueron en realidad replicaciones). En el subconjunto de 500 estudios, el análisis indicó que el 78,9% de los intentos de replicación publicados tuvieron éxito.
Un estudio publicado en 2018 en Nature Human Behavior buscó replicar 21 artículos de ciencias sociales y del comportamiento de Nature and Science , y encontró que solo 13 podían replicarse con éxito. [48] [49] De manera similar, en un estudio realizado bajo los auspicios del Center for Open Science , un equipo de 186 investigadores de 60 laboratorios diferentes (que representan 36 nacionalidades diferentes de 6 continentes diferentes) realizó réplicas de 28 hallazgos clásicos y contemporáneos en psicología. [50] El enfoque del estudio no se centró solo en si los hallazgos de los artículos originales se replicaron o no, sino también en la medida en que los hallazgos variaban en función de las variaciones en las muestras y contextos. En general, 14 de los 28 hallazgos no se replicaron a pesar de los tamaños de muestra masivos. Sin embargo, si un hallazgo se replicó, se replicó en la mayoría de las muestras, mientras que si un hallazgo no se replicó, no se replicó con poca variación entre muestras y contextos. Esta evidencia es inconsistente con una explicación popular de que las fallas en la replicación en psicología probablemente se deban a cambios en la muestra entre el estudio original y el de replicación. [51]
Un dilema social disciplinario
Al destacar la estructura social que desalienta la replicación en psicología, Brian D. Earp y Jim AC Everett enumeraron cinco puntos sobre por qué los intentos de replicación son poco comunes: [52] [53]
- "Las réplicas independientes y directas de los hallazgos de otros pueden llevar mucho tiempo para el investigador que realiza la réplica"
- "Es probable que [las réplicas] le quiten energía y recursos directamente a otros proyectos que reflejan el pensamiento original de uno"
- "[Las réplicas] son generalmente más difíciles de publicar (en gran parte porque se las considera poco originales)"
- "Incluso si se publican [réplicas], es probable que se las considere como ejercicios de 'albañilería', más que como contribuciones importantes al campo"
- "[Las réplicas] brindan menos reconocimiento y recompensa, e incluso seguridad profesional básica, a sus autores" [54]
Por estas razones, los autores defendieron que la psicología se enfrenta a un dilema social disciplinario, donde los intereses de la disciplina están en desacuerdo con los intereses del investigador individual.
Controversia del "terrorismo metodológico"
Con la crisis de replicación de la psicología ganando atención, la psicóloga de la Universidad de Princeton Susan Fiske generó controversia por criticar a los críticos de la psicología. [55] [56] [57] [58] Ella etiquetó a estos "adversarios" no identificados con nombres como "terrorista metodológico" y "policía de datos autoproclamada", y dijo que las críticas a la psicología solo deben expresarse en privado o por medio de contactando las revistas. [55] El estadístico y politólogo de la Universidad de Columbia, Andrew Gelman , respondió a Fiske, diciendo que se había encontrado dispuesta a tolerar el "paradigma muerto" de las estadísticas defectuosas y se había negado a retractarse de publicaciones incluso cuando se señalaron errores. [55] [59] Agregó que su mandato como editora ha sido abismal y que se encontró que varios artículos publicados editados por ella se basaban en estadísticas extremadamente débiles; uno de los artículos publicados por Fiske tenía un error estadístico importante y conclusiones "imposibles". [55]
En medicina
De 49 estudios médicos de 1990-2003 con más de 1000 citas, 45 afirmaron que la terapia estudiada fue eficaz. De estos estudios, el 16% fue contradicho por estudios posteriores, el 16% encontró efectos más fuertes que los estudios posteriores, el 44% se repitió y el 24% permaneció en gran parte sin cuestionar. [60] La Administración de Drogas y Alimentos de los Estados Unidos en 1977-1990 encontró fallas en el 10-20% de los estudios médicos. [61] En un artículo publicado en 2012, C. Glenn Begley , un consultor de biotecnología que trabaja en Amgen , y Lee Ellis, de la Universidad de Texas, encontraron que solo el 11% de 53 estudios preclínicos sobre el cáncer se podían replicar. [62] Los estudios irreproducibles tenían una serie de características en común, incluyendo que los estudios no fueron realizados por investigadores cegados a los brazos experimentales versus los de control, no se repitieron los experimentos, no hubo controles positivos y negativos, no se mostraron todos los datos, uso inadecuado de pruebas estadísticas y uso de reactivos que no fueron debidamente validados. [63]
Una encuesta sobre investigadores del cáncer encontró que la mitad de ellos no había podido reproducir un resultado publicado. [64] Una encuesta similar realizada por Nature a 1.576 investigadores que respondieron un breve cuestionario en línea sobre reproducibilidad mostró que más del 70% de los investigadores han intentado y no han podido reproducir los experimentos de otro científico, y más de la mitad no han podido reproducir sus propios experimentos. "Aunque el 52% de los encuestados está de acuerdo en que existe una 'crisis' significativa de reproducibilidad, menos del 31% piensa que el hecho de no reproducir los resultados publicados significa que el resultado probablemente sea incorrecto, y la mayoría dice que todavía confía en la literatura publicada". [sesenta y cinco]
Un artículo de 2016 de John Ioannidis , profesor de Medicina y de Investigación y Políticas de Salud en la Facultad de Medicina de la Universidad de Stanford y profesor de Estadística en la Facultad de Humanidades y Ciencias de la Universidad de Stanford, elaborado sobre "Por qué la mayoría de las investigaciones clínicas no son útiles". [66] En el artículo Ioannidis planteó algunos de los problemas y pidió una reforma, caracterizando ciertos puntos para que la investigación médica vuelva a ser útil; un ejemplo que dio fue la necesidad de que la medicina esté "centrada en el paciente" (por ejemplo, en la forma del Instituto de Investigación de Resultados Centrados en el Paciente ) en lugar de la práctica actual para atender principalmente "las necesidades de los médicos, investigadores o patrocinadores" .
En marketing
El marketing es otra disciplina con una "desesperada necesidad" de replicación. [67] Muchos estudios de marketing famosos no se repiten después de la replicación, un ejemplo notable es el efecto de " demasiadas opciones ", en el que una gran cantidad de opciones de productos hace que un consumidor tenga menos probabilidades de comprar. [68] Además de los argumentos mencionados anteriormente, se necesitan estudios de replicación en marketing para examinar la aplicabilidad de teorías y modelos en países y culturas, lo cual es especialmente importante debido a las posibles influencias de la globalización . [69]
En economia
Un estudio de 2016 en la revista Science encontró que un tercio de los 18 estudios experimentales de dos revistas de economía de primer nivel ( American Economic Review y Quarterly Journal of Economics ) no se replicaron con éxito. [70] [71] Un estudio de 2017 en el Economic Journal sugirió que "la mayoría de los efectos promedio en la literatura de economía empírica son exagerados por un factor de al menos 2 y al menos un tercio son exagerados por un factor de 4 o más". [72]
En ciencia del deporte
Un estudio de 2018 criticó el campo del ejercicio y la ciencia del deporte por estudios de replicación insuficientes, informes limitados de resultados nulos y triviales y transparencia de la investigación insuficiente. [73] Los estadísticos han criticado la ciencia del deporte por el uso común de un método estadístico controvertido llamado " inferencia basada en la magnitud " que ha permitido a los científicos del deporte extraer resultados aparentemente significativos de datos ruidosos donde las pruebas de hipótesis ordinarias no hubieran encontrado ninguno. [74]
En la gestión de los recursos hídricos
Un estudio de 2019 en Scientific Data sugirió que solo se podía reproducir una pequeña cantidad de artículos en revistas sobre recursos hídricos y gestión , mientras que la mayoría de los artículos no eran replicables debido a la falta de disponibilidad de datos. El estudio estimó con un 95% de confianza que "los resultados podrían reproducirse sólo del 0,6% al 6,8% de los 1.989 artículos". [75]
Repercusiones políticas
En EE. UU., La crisis de reproducibilidad de la ciencia se ha convertido en un tema de controversia política, vinculado al intento de disminuir las regulaciones, por ejemplo, de las emisiones de contaminantes, con el argumento de que estas regulaciones se basan en una ciencia no reproducible. [76] [77] Intentos anteriores con el mismo objetivo acusaron a los estudios utilizados por los reguladores de no ser transparentes. [78]
Percepciones y conciencia pública
Se han expresado preocupaciones dentro de la comunidad científica de que el público en general pueda considerar la ciencia menos creíble debido a las réplicas fallidas. [79] La investigación que respalda esta preocupación es escasa, pero una encuesta representativa a nivel nacional en Alemania mostró que más del 75% de los alemanes no han oído hablar de fallas de replicación en la ciencia. [80] El estudio también encontró que la mayoría de los alemanes tienen percepciones positivas de los esfuerzos de replicación: solo el 18% piensa que la no replicabilidad muestra que no se puede confiar en la ciencia, mientras que el 65% piensa que la investigación de replicación muestra que la ciencia aplica el control de calidad, y el 80% está de acuerdo que los errores y las correcciones son parte de la ciencia. [80]
Causas
Una de las principales causas de la baja reproducibilidad es el sesgo de publicación y el sesgo de selección , a su vez causado por el hecho de que los resultados estadísticamente insignificantes rara vez se publican o se discuten en publicaciones sobre múltiples efectos potenciales. Entre los efectos potenciales que son inexistentes (o minúsculos), las pruebas estadísticas muestran significancia (al nivel habitual) con un 5% de probabilidad. Si se analiza una gran cantidad de estos efectos en una búsqueda de resultados significativos, estos erróneamente significativos inundan los que se encuentran apropiadamente y conducen a replicaciones exitosas (aún erróneamente) nuevamente con solo un 5% de probabilidad. Por tanto, una proporción cada vez mayor de estos estudios reduce progresivamente la tasa de replicación correspondiente a los estudios de efectos plausiblemente relevantes. Los resultados erróneamente significativos también pueden provenir de prácticas cuestionables en el análisis de datos llamadas dragado de datos o piratería P , HARKing y grados de libertad del investigador .
C. Glenn Begley y John Ioannidis propusieron estas causas para el aumento en la búsqueda de significado:
- Generación de nuevos datos / publicaciones a un ritmo sin precedentes.
- La mayoría de estos descubrimientos no resistirán la prueba del tiempo.
- Incumplimiento de buenas prácticas científicas y desesperación por publicar o perecer .
- Varias partes interesadas.
Concluyen que ninguna de las partes es la única responsable y que ninguna solución única será suficiente.
Estos problemas pueden llevar a la canonización de hechos falsos. [81]
De hecho, algunas predicciones de una crisis inminente en el mecanismo de control de calidad de la ciencia se remontan a varias décadas, especialmente entre los académicos en estudios de ciencia y tecnología (STS). Derek de Solla Price , considerado el padre de la cienciometría , predijo que la ciencia podría alcanzar la "senilidad" como resultado de su propio crecimiento exponencial. [82] Alguna literatura actual parece reivindicar esta profecía de "desbordamiento", lamentando la decadencia tanto en la atención como en la calidad. [83] [84]
El filósofo e historiador de la ciencia Jerome R. Ravetz predijo en su libro de 1971 El conocimiento científico y sus problemas sociales que la ciencia, en su progresión de una ciencia "pequeña" compuesta por comunidades aisladas de investigadores, a una ciencia "grande" o "tecnociencia" - sufriría importantes problemas en su sistema interno de control de calidad. Ravetz reconoció que la estructura de incentivos para los científicos modernos podría volverse disfuncional, ahora conocido como el desafío actual de "publicar o perecer", creando incentivos perversos para publicar cualquier hallazgo, por dudoso que sea. Según Ravetz, la calidad en la ciencia se mantiene solo cuando existe una comunidad de académicos vinculados por un conjunto de normas y estándares compartidos, todos los cuales están dispuestos y son capaces de responsabilizarse mutuamente.
El historiador Philip Mirowski ofreció un diagnóstico similar en su libro Science Mart de 2011 (2011). [85] En el título, la palabra "Mart" se refiere al gigante minorista "Walmart", utilizado por Mirowski como metáfora de la mercantilización de la ciencia. En el análisis de Mirowski, la calidad de la ciencia colapsa cuando se convierte en una mercancía que se comercializa en un mercado. Mirowski argumenta su caso al rastrear la decadencia de la ciencia hasta la decisión de las grandes corporaciones de cerrar sus laboratorios internos. Subcontrataron su trabajo a universidades en un esfuerzo por reducir costos y aumentar las ganancias. Posteriormente, las corporaciones trasladaron su investigación de las universidades a una opción aún más barata: las organizaciones de investigación por contrato (CRO).
La crisis del sistema de control de calidad de la ciencia está afectando el uso de la ciencia para la formulación de políticas. Ésta es la tesis de un trabajo reciente de un grupo de académicos de CTS, quienes identifican en la 'política basada en evidencia (o informada)' un punto de tensión actual. [86] [87] [88] [77] El economista Noah Smith sugiere que un factor de la crisis ha sido la sobrevaloración de la investigación en el ámbito académico y la infravaloración de la capacidad docente, especialmente en campos con pocos descubrimientos recientes importantes. [89]
La teoría del sistema social, del sociólogo alemán Niklas Luhmann [90] [91] ofrece otra lectura de la crisis. Según esta teoría, cada uno de los sistemas como 'economía', 'ciencia', 'religión', 'medios de comunicación', etc., se comunica utilizando su propio código, verdadero / falso para la ciencia, ganancia / pérdida para la economía, nuevo / no- noticias para los medios de comunicación; según algunos sociólogos, [92] la mediatización de la ciencia, [93] su mercantilización [94] y su politización, [95] - como resultado del acoplamiento estructural entre sistemas, han llevado a una confusión de los códigos originales del sistema. Si el código de la ciencia verdadero / falso es sustituido por los de los otros sistemas, como ganancias / pérdidas, noticias / no noticias, el funcionamiento de la ciencia entra en una crisis interna.
Respuesta
Se ha hecho referencia a la replicación como "la piedra angular de la ciencia". [96] [97] Los estudios de replicación intentan evaluar si los resultados publicados reflejan hallazgos verdaderos o falsos positivos. La integridad de los hallazgos científicos y la reproducibilidad de la investigación son importantes, ya que forman la base del conocimiento sobre la que se construyen los estudios futuros.
Metaciencia
La metaciencia es el uso de la metodología científica para estudiar la ciencia misma. Metascience busca aumentar la calidad de la investigación científica al tiempo que reduce el desperdicio. También se conoce como " investigación sobre investigación " y " ciencia de la ciencia ", ya que utiliza métodos de investigación para estudiar cómo se realiza la investigación y dónde se pueden realizar mejoras. La metaciencia se ocupa de todos los campos de la investigación y ha sido descrita como "una vista de pájaro de la ciencia". [98] En palabras de John Ioannidis , "La ciencia es lo mejor que le ha pasado a los seres humanos ... pero podemos hacerlo mejor". [99]
Se sigue llevando a cabo una metainvestigación para identificar las raíces de la crisis y abordarlas. Los métodos para abordar la crisis incluyen el prerregistro de estudios científicos y ensayos clínicos , así como la fundación de organizaciones como CONSORT y la Red EQUATOR que emiten pautas para la metodología y la presentación de informes. Hay esfuerzos continuos para reformar el sistema de incentivos académicos, mejorar el proceso de revisión por pares , reducir el uso indebido de las estadísticas , combatir el sesgo en la literatura científica y aumentar la calidad y eficiencia general del proceso científico.
Abordar el sesgo de publicación con el prerregistro de estudios
Una innovación reciente en la publicación científica para abordar la crisis de la replicación es mediante el uso de informes registrados . [100] [101] El formato de informe registrado requiere que los autores presenten una descripción de los métodos de estudio y análisis antes de la recopilación de datos. Una vez que el método y el plan de análisis se examinan mediante una revisión por pares, la publicación de los hallazgos está garantizada provisionalmente, en función de si los autores siguen el protocolo propuesto. Uno de los objetivos de los informes registrados es evitar el sesgo de publicación hacia hallazgos significativos que pueden conducir a la implementación de prácticas de investigación cuestionables y fomentar la publicación de estudios con métodos rigurosos.
La revista Psychological Science ha fomentado el prerregistro de estudios y el informe de los tamaños del efecto y los intervalos de confianza. [102] El editor en jefe también señaló que el personal editorial pedirá la replicación de estudios con hallazgos sorprendentes de exámenes que utilizan tamaños de muestra pequeños antes de permitir la publicación de los manuscritos.
Además, solo una proporción muy pequeña de revistas académicas de psicología y neurociencias declararon explícitamente que acogen con agrado las presentaciones de estudios de réplica en su objetivo y alcance o instrucciones a los autores. [103] [104] Este fenómeno no fomenta la presentación de informes ni el intento de realizar estudios de reproducción.
Cambio a un paradigma de sistemas complejos
Se ha argumentado que los esfuerzos de investigación que trabajan dentro del paradigma lineal convencional necesariamente terminan en dificultades de replicación. [105] Surgen problemas si los procesos causales en el sistema en estudio son "dominantes en la interacción" en lugar de "dominantes en el componente", multiplicativos en lugar de aditivos, y con muchas interacciones pequeñas no lineales que producen fenómenos a nivel macro, que no son reducibles. a sus componentes de nivel micro. En el contexto de sistemas tan complejos , los modelos lineales convencionales producen respuestas que no son razonables, porque, en principio, no es posible descomponer la varianza como sugiere el marco del Modelo Lineal General (GLM); por lo tanto, el objetivo de reproducir tal resultado es evidentemente problemático. Las mismas preguntas se formulan actualmente en muchos campos de la ciencia, donde los investigadores comienzan a cuestionar los supuestos que subyacen a los métodos estadísticos clásicos. [106]
Enfatizar los intentos de replicación en la enseñanza.
Con base en los trabajos de curso sobre métodos experimentales en el MIT, Stanford y la Universidad de Washington , se ha sugerido que los cursos de métodos en psicología y otros campos enfatizan los intentos de replicación en lugar de los estudios originales. [107] [108] [109] Este enfoque ayudaría a los estudiantes a aprender la metodología científica y proporcionaría numerosas réplicas independientes de hallazgos científicos significativos que probarían la replicabilidad de los hallazgos científicos. Algunos han recomendado que se debería exigir a los estudiantes graduados que publiquen un intento de réplica de alta calidad sobre un tema relacionado con su investigación doctoral antes de graduarse. [53]
Reducir el valor p requerido para reclamar la importancia de nuevos resultados
Muchas publicaciones requieren un p -valor de p <0,05 para reclamar la significación estadística. El artículo "Redefinir la significación estadística", [110] firmado por un gran número de científicos y matemáticos, propone que en "campos donde el umbral para definir la significación estadística para nuevos descubrimientos es p <0,05, proponemos un cambio ap <0,005. Este simple paso mejoraría inmediatamente la reproducibilidad de la investigación científica en muchos campos ".
Su fundamento es que "una de las principales causas de la no reproducibilidad (es que los) estándares estadísticos de evidencia para afirmar nuevos descubrimientos en muchos campos de la ciencia son simplemente demasiado bajos. Asociar hallazgos 'estadísticamente significativos' con p <0.05 da como resultado una tasa alta de falsos positivos incluso en ausencia de otros problemas experimentales, de procedimiento y de informes ".
Este llamado fue posteriormente criticado por otro grupo numeroso, que argumentó que "redefinir" el umbral no solucionaría los problemas actuales, daría lugar a algunos nuevos y que, al final, todos los umbrales debían justificarse caso por caso en lugar de siguiendo las convenciones generales. [111]
Abordar la mala interpretación de los valores p
Aunque los estadísticos son unánimes en cuanto a que el uso de p <0.05 proporciona evidencia más débil de lo que generalmente se aprecia, existe una falta de unanimidad sobre lo que se debe hacer al respecto. Algunos han abogado por que los métodos bayesianos deberían reemplazar los valores p . Esto no ha sucedido a gran escala, en parte porque es complicado y en parte porque muchos usuarios desconfían de la especificación de distribuciones anteriores en ausencia de datos concretos. Colquhoun (2014, 2017) sugirió una versión simplificada del argumento bayesiano, basada en probar una hipótesis de punto nulo. [112] [113] Los problemas lógicos de la inferencia inductiva se discutieron en "El problema con los valores p" (2016). [114]
Los peligros de confiar en los valores de p se enfatizaron señalando que incluso la observación de p = 0,001 no era necesariamente una evidencia sólida en contra de la hipótesis nula. [113] A pesar de que la razón de verosimilitud a favor de la hipótesis alternativa sobre la nula es cercana a 100, si la hipótesis fuera inverosímil, con una probabilidad previa de un efecto real de 0,1, incluso la observación de p = 0,001 habría un riesgo de falso positivo del 8 por ciento. Ni siquiera alcanzaría el nivel del 5 por ciento.
Se recomendó [113] que no se utilizaran los términos "significativo" y "no significativo". Los valores p y los intervalos de confianza aún deben especificarse, pero deben ir acompañados de una indicación del riesgo de falso positivo. Se sugirió que la mejor manera de hacer esto es calcular la probabilidad previa que sería necesario creer para lograr un riesgo de falso positivo de, digamos, 5%. Los cálculos se pueden hacer con los scripts R que se proporcionan, [113] o, más simplemente, con una calculadora web. [115] Este llamado enfoque bayesiano inverso, que fue sugerido por Matthews (2001), [116] es una forma de evitar el problema de que rara vez se conoce la probabilidad previa.
Fomentar tamaños de muestra más grandes
Para mejorar la calidad de las réplicas, a menudo se necesitan tamaños de muestra más grandes que los utilizados en el estudio original. [117] Se necesitan tamaños de muestra más grandes porque las estimaciones de los tamaños del efecto en el trabajo publicado a menudo se exageran debido al sesgo de publicación y la gran variabilidad muestral asociada con tamaños de muestra pequeños en un estudio original. [118] [119] [120] Además, el uso de umbrales de significancia generalmente conduce a efectos inflados, porque particularmente con tamaños de muestra pequeños, solo los efectos más grandes se volverán significativos. [121]
Compartir datos sin procesar en repositorios en línea
Los repositorios en línea donde el público puede almacenar y evaluar datos, protocolos y hallazgos buscan mejorar la integridad y reproducibilidad de la investigación. Ejemplos de tales repositorios incluyen Open Science Framework , Registry of Research Data Repositories y Psychfiledrawer.org. Sitios como Open Science Framework ofrecen insignias por utilizar prácticas científicas abiertas en un esfuerzo por incentivar a los científicos. Sin embargo, ha existido la preocupación de que quienes tienen más probabilidades de proporcionar sus datos y códigos para los análisis sean los investigadores que probablemente sean los más sofisticados. [122] John Ioannidis de la Universidad de Stanford sugirió que "puede surgir la paradoja de que los investigadores más meticulosos, sofisticados, conocedores de métodos y cuidadosos pueden volverse más susceptibles a las críticas y ataques de reputación por parte de reanalizadores que buscan errores, sin importar cuán insignificantes sean estos están". [122]
Financiamiento para estudios de replicación
En julio de 2016, la Organización de Investigación Científica de los Países Bajos puso a disposición 3 millones de euros para estudios de replicación. La financiación es para la reproducción basada en un nuevo análisis de los datos existentes y la reproducción mediante la recopilación y el análisis de nuevos datos. Hay financiación disponible en las áreas de ciencias sociales, investigación sanitaria e innovación sanitaria. [123]
En 2013, la Fundación Laura y John Arnold financió el lanzamiento del Centro de Ciencia Abierta con una subvención de $ 5,25 millones y para 2017 había proporcionado $ 10 millones adicionales en fondos. [124] También financió el lanzamiento del Centro de Innovación de Meta-Investigación en Stanford en la Universidad de Stanford dirigido por John Ioannidis y Steven Goodman para estudiar formas de mejorar la investigación científica. [124] También proporcionó financiación para la iniciativa AllTrials dirigida en parte por Ben Goldacre . [124]
Enfatice la triangulación, no solo la replicación
Marcus R. Munafò y George Davey Smith argumentan, en un artículo publicado por Nature , que la investigación debe enfatizar la triangulación , no solo la replicación. Ellos afirman que
la replicación por sí sola nos llevará hasta cierto punto (y) en realidad podría empeorar las cosas ... Creemos que una protección esencial contra las ideas defectuosas es la triangulación. Este es el uso estratégico de múltiples enfoques para abordar una pregunta. Cada enfoque tiene sus propios supuestos, fortalezas y debilidades no relacionadas. Es menos probable que los resultados que concuerden con las diferentes metodologías sean artefactos . ... Quizás una de las razones por las que la replicación ha captado tanto interés es la idea, a menudo repetida, de que la falsificación está en el corazón de la empresa científica. Esta idea fue popularizada por la máxima de Karl Popper de la década de 1950 de que las teorías nunca pueden ser probadas, solo falsificadas . Sin embargo, un énfasis excesivo en la repetición de experimentos podría proporcionar una sensación de certeza infundada sobre los hallazgos que se basan en un solo enfoque. ... los filósofos de la ciencia han avanzado desde Popper. Las mejores descripciones de cómo trabajan realmente los científicos incluyen lo que el epistemólogo Peter Lipton llamó en 1991 "inferencia a la mejor explicación". [125]
Elevar los estándares generales de presentación de métodos.
Algunos autores han argumentado que la comunicación insuficiente de los métodos experimentales es un factor importante que contribuye a la crisis de reproducibilidad y que mejorar la calidad de cómo se informa el diseño experimental y los análisis estadísticos ayudaría a mejorar la situación. [126] Estos autores tienden a abogar por un amplio cambio cultural en la comunidad científica sobre cómo se consideran las estadísticas y un impulso más coercitivo de las revistas científicas y los organismos de financiación.
Implicaciones para la industria farmacéutica
Las empresas farmacéuticas y los capitalistas de riesgo mantienen laboratorios de investigación o contratan a proveedores de servicios de investigación privados (por ejemplo, Envigo y Smart Assays Biotechnologies) cuyo trabajo es replicar estudios académicos para probar si son precisos antes de invertir o intentar desarrollar un nuevo fármaco basado en esa investigación. Los riesgos financieros son altos para la empresa y los inversores, por lo que es rentable para ellos invertir en réplicas exactas. [127] La ejecución de estudios de replicación consume recursos. Además, hacer una réplica de un experto requiere no solo una experiencia genérica en metodología de investigación, sino también una experiencia específica en el tema de interés, a menudo limitado. A veces, la investigación requiere habilidades y conocimientos técnicos específicos, y solo los investigadores dedicados a un área limitada de investigación pueden tener esas habilidades. En este momento, las agencias de financiamiento rara vez están interesadas en financiar estudios de replicación, y la mayoría de las revistas científicas no están interesadas en publicar tales resultados. [127] Los investigadores de cáncer de Amgen Oncology solo pudieron replicar el 11 por ciento de 53 estudios innovadores que seleccionaron para realizar durante un período de 10 años; [62] un análisis de 2011 realizado por investigadores de la compañía farmacéutica Bayer encontró que los hallazgos internos de la compañía coincidían con los resultados originales solo una cuarta parte de las veces, como máximo. [128] El análisis también reveló que, cuando los científicos de Bayer pudieron reproducir un resultado en un experimento de replicación directa, tendió a traducirse bien en aplicaciones clínicas; lo que significa que la reproducibilidad es un marcador útil del potencial clínico.
Ver también
- Dragado de datos
- Ciencia no válida
- El sesgo de publicación
- Estadísticas de estimación
- Proyecto de reproducibilidad
- Integridad de la investigación
- Lista de incidentes de mala conducta científica
Referencias
- ^ Ioannidis, John PA (1 de agosto de 2005). "Por qué la mayoría de los resultados de las investigaciones publicadas son falsos" . PLOS Medicine . 2 (8): e124. doi : 10.1371 / journal.pmed.0020124 . ISSN 1549-1277 . PMC 1182327 . PMID 16060722 .
- ^ Schooler, JW (2014). "La metaciencia podría rescatar la 'crisis de la replicación ' " . Naturaleza . 515 (7525): 9. Bibcode : 2014Natur.515 .... 9S . doi : 10.1038 / 515009a . PMID 25373639 .
- ^ Smith, Noah. "Por qué la 'importancia estadística' es a menudo insignificante" . Bloomberg . Consultado el 7 de noviembre de 2017 .
- ^ a b Baker, Monya (25 de mayo de 2016). "1.500 científicos levantan la tapa sobre la reproducibilidad" . Naturaleza . Springer Nature . 533 : 452–454 . Consultado el 21 de mayo de 2021 .
- ^ Pashler, Harold; Wagenmakers, Eric Jan (2012). "Introducción de los editores a la sección especial sobre replicabilidad en la ciencia psicológica: ¿una crisis de confianza?" . Perspectivas de la ciencia psicológica . 7 (6): 528–530. doi : 10.1177 / 1745691612465253 . PMID 26168108 . S2CID 26361121 .
- ^ Fidler, Fiona ; Wilcox, John (2018). "Reproducibilidad de resultados científicos" . La Enciclopedia de Filosofía de Stanford . Laboratorio de Investigación en Metafísica, Universidad de Stanford . Consultado el 19 de mayo de 2019 .
- ^ Staddon, John (2017). Método científico: cómo funciona la ciencia, cómo no funciona o cómo pretende funcionar . Taylor y Francis.
- ^ Lehrer, Jonah (13 de diciembre de 2010). "La verdad se desvanece" . The New Yorker . Consultado el 30 de enero de 2020 .
- ^ Marcus, Gary (1 de mayo de 2013). "La crisis de la psicología social que no es" . The New Yorker . Consultado el 30 de enero de 2020 .
- ^ Nature Video (28 de mayo de 2016). "¿Existe una crisis de reproducibilidad en la ciencia?" . Scientific American . Consultado el 15 de agosto de 2019 .
- ^ Fanelli, Daniele (29 de mayo de 2009). "¿Cuántos científicos fabrican y falsifican la investigación? Una revisión sistemática y un metaanálisis de los datos de la encuesta" . PLOS ONE . 4 (5): e5738. Código Bibliográfico : 2009PLoSO ... 4.5738F . doi : 10.1371 / journal.pone.0005738 . PMC 2685008 . PMID 19478950 .
- ^ Achenbach, Joel. "No, el problema de reproducibilidad de la ciencia no se limita a la psicología" . The Washington Post . Consultado el 10 de septiembre de 2015 .
- ^ Stanley, TD; Carter, Evan C .; Doucouliagos, Hristos (2018). "Lo que revelan los metaanálisis sobre la replicabilidad de la investigación psicológica" . Boletín psicológico . 144 (12): 1325-1346. doi : 10.1037 / bul0000169 . ISSN 1939-1455 . PMID 30321017 . S2CID 51951232 .
- ^ Dominus, Susan (18 de octubre de 2017). "Cuando llegó la revolución para Amy Cuddy" . The New York Times . ISSN 0362-4331 . Consultado el 19 de octubre de 2017 .
- ^ Leichsenring, Falk; Abbass, Allan ; Hilsenroth, Mark J .; Leweke, Frank; Luyten, Patrick; Keefe, Jack R .; Midgley, Nick; Rabung, Sven; Salzer, Simone; Steiner, Christiane (abril de 2017). "Sesgos en la investigación: factores de riesgo de no replicabilidad en la investigación en psicoterapia y farmacoterapia" . Medicina psicológica . 47 (6): 1000–1011. doi : 10.1017 / S003329171600324X . PMID 27955715 . S2CID 1872762 .
- ^ Hengartner, Michael P. (28 de febrero de 2018). "Sensibilización sobre la crisis de replicación en psicología clínica al centrarse en las inconsistencias en la investigación en psicoterapia: ¿Cuánto podemos confiar en los hallazgos publicados de los ensayos de eficacia?" . Fronteras en psicología . Frontiers Media . 9 : 256. doi : 10.3389 / fpsyg.2018.00256 . PMC 5835722 . PMID 29541051 .
- ^ Frank, Michael C .; Bergelson, Elika; Bergmann, Christina; Cristia, Alejandrina; Floccia, Caroline; Gervain, Judit; Hamlin, J. Kiley; Hannon, Erin E .; Kline, Melissa; Levelt, Claartje; Lew-Williams, Casey; Nazzi, Thierry; Panneton, Robin; Rabagliati, Hugh; Soderstrom, Melanie; Sullivan, Jessica; Waxman, Sandra ; Yurovsky, Daniel (9 de marzo de 2017). "Un enfoque colaborativo para la investigación infantil: promover la reproducibilidad, las mejores prácticas y la construcción de teorías" . Infancia . 22 (4): 421–435. doi : 10.1111 / infa.12182 . hdl : 10026,1 / 9942 . PMC 6879177 . PMID 31772509 .
- ^ Tyson, Charlie (14 de agosto de 2014). "No replicar" . Inside Higher Ed . Consultado el 19 de diciembre de 2018 .
- ^ Makel, Matthew C .; Plucker, Jonathan A. (1 de agosto de 2014). "Los hechos son más importantes que la novedad: la replicación en las ciencias de la educación" . Investigador educativo . 43 (6): 304–316. doi : 10.3102 / 0013189X14545513 . S2CID 145571836 . Consultado el 19 de diciembre de 2018 .
- ^ a b c John, Leslie K .; Loewenstein, George; Prelec, Drazen (1 de mayo de 2012). "Medir la prevalencia de prácticas de investigación cuestionables con incentivos para decir la verdad" (PDF) . Ciencia psicológica . 23 (5): 524–532. doi : 10.1177 / 0956797611430953 . ISSN 0956-7976 . PMID 22508865 . S2CID 8400625 .
- ^ Neuroescéptico (1 de noviembre de 2012). "Los nueve círculos del infierno científico" . Perspectivas de la ciencia psicológica . 7 (6): 643–644. doi : 10.1177 / 1745691612459519 . ISSN 1745-6916 . PMID 26168124 . S2CID 45328962 .
- ^ "Investigación de mala conducta - el área gris de las prácticas de investigación cuestionables" . www.vib.be . 30 de septiembre de 2013. Archivado desde el original el 31 de octubre de 2014 . Consultado el 13 de noviembre de 2015 .
- ^ Fiedler, Klaus; Schwarz, Norbert (19 de octubre de 2015). "Prácticas de investigación cuestionables revisadas". Ciencias de la Psicología Social y de la Personalidad . 7 : 45–52. doi : 10.1177 / 1948550615612150 . ISSN 1948-5506 . S2CID 146717227 .
- ^ a b Simmons, Joseph; Nelson, Leif; Simonsohn, Uri (noviembre de 2011). "Psicología falso positivo: flexibilidad no revelada en la recopilación y análisis de datos permite presentar cualquier cosa como significativa" . Ciencia psicológica . 22 (11): 1359-1366. doi : 10.1177 / 0956797611417632 . ISSN 0956-7976 . PMID 22006061 .
- ^ Shea, Christopher (13 de noviembre de 2011). "El escándalo de fraude alimenta el debate sobre las prácticas de la psicología social" . La crónica de la educación superior .
- ^ Kahneman, Daniel (2014). "Una nueva etiqueta para la replicación" . Psicología social . 45 (4): 310–311. doi : 10.1027 / 1864-9335 / a000202 .
- ^ "Tabla de contenido" . Psicología social . 45 (3). 2014. ISSN 1864-9335 .
- ^ "Tabla de contenido" . Perspectivas de la ciencia psicológica . 7 (6). 2012. ISSN 1745-6916 .
- ^ Colaboración en ciencia abierta (2015). "Estimación de la reproducibilidad de la ciencia psicológica" (PDF) . Ciencia . 349 (6251): aac4716. doi : 10.1126 / science.aac4716 . hdl : 10722/230596 . PMID 26315443 . S2CID 218065162 .
- ^ Coyne, James (15 de abril de 2014). "¿Son los metaanálisis realizados por organizaciones profesionales más confiables?" . Cuidado con el cerebro . Blogs de PLOS. Archivado desde el original el 14 de agosto de 2014 . Consultado el 13 de septiembre de 2016 .
- ^ Connor, Steve (27 de agosto de 2015). "El estudio revela que gran parte de la investigación en psicología en realidad es solo 'balbuceo psicológico ' " . The Independent . Londres.
- ^ Meyer, Michelle N .; Chabris, Christopher (31 de julio de 2014). "Por qué importa la lucha alimentaria de los psicólogos" . Pizarra .
- ^ Aschwanden, Christie (19 de agosto de 2015). "La ciencia no está rota" . FiveThirtyEight . Consultado el 30 de enero de 2020 .
- ^ Aschwanden, Christie (27 de agosto de 2015). "La psicología está empezando a lidiar con su problema de replicación" . FiveThirtyEight . Consultado el 30 de enero de 2020 .
- ^ Etchells, Pete (28 de mayo de 2014). "Impulso de replicación de la psicología: no se trata de ti" . The Guardian .
- ^ Wagenmakers, Eric-Jan; Wetzels, Ruud; Borsboom, Denny; Maas, Han LJ van der; Kievit, Rogier A. (1 de noviembre de 2012). "Una agenda para la investigación puramente confirmatoria" . Perspectivas de la ciencia psicológica . 7 (6): 632–638. doi : 10.1177 / 1745691612463078 . ISSN 1745-6916 . PMID 26168122 . S2CID 5096417 .
- ^ Ioannidis, John PA (1 de noviembre de 2012). "Por qué la ciencia no es necesariamente autocorregible" . Perspectivas de la ciencia psicológica . 7 (6): 645–654. doi : 10.1177 / 1745691612464056 . ISSN 1745-6916 . PMID 26168125 . S2CID 11798785 .
- ^ Pashler, Harold; Harris, Christine R. (1 de noviembre de 2012). "¿Es exagerada la crisis de replicabilidad? Tres argumentos examinados" . Perspectivas de la ciencia psicológica . 7 (6): 531–536. doi : 10.1177 / 1745691612463401 . ISSN 1745-6916 . PMID 26168109 .
- ^ Bartlett, Tom (30 de enero de 2013). "Poder de la sugerencia" . La crónica de la educación superior .
- ^ a b Chambers, Chris (10 de junio de 2014). "Envidia de la física: ¿las ciencias 'duras' tienen la solución a la crisis de replicación en psicología?" . The Guardian .
- ^ a b Makel, Matthew C .; Plucker, Jonathan A .; Hegarty, Boyd (1 de noviembre de 2012). "Replicaciones en la investigación en psicología ¿Con qué frecuencia ocurren realmente?" . Perspectivas de la ciencia psicológica . 7 (6): 537–542. doi : 10.1177 / 1745691612460688 . ISSN 1745-6916 . PMID 26168110 .
- ^ Stroebe, Wolfgang; Strack, Fritz (2014). "La supuesta crisis y la ilusión de la replicación exacta" (PDF) . Perspectivas de la ciencia psicológica . 9 (1): 59–71. doi : 10.1177 / 1745691613514450 . PMID 26173241 . S2CID 31938129 .
- ^ Aschwanden, Christie (6 de diciembre de 2018). "La crisis de replicación de la psicología ha mejorado el campo" . FiveThirtyEight . Consultado el 19 de diciembre de 2018 .
- ^ Allen, Christopher P G .; Mehler, David Marc Anton. "Desafíos, beneficios y consejos de Open Science al inicio de la carrera y más allá" . doi : 10.31234 / osf.io / 3czyt . Cite journal requiere
|journal=
( ayuda ) - ^ Chartier, Chris; Kline, Melissa; McCarthy, Randy; Nuijten, Michele; Dunleavy, Daniel J .; Ledgerwood, Alison (diciembre de 2018), "The Cooperative Revolution Is Making Psychological Science Better" , Observer , 31 (10) , consultado el 19 de diciembre de 2018
- ^ Colaboración de ciencia abierta (2015-08-28). "Estimación de la reproducibilidad de la ciencia psicológica" (PDF) . Ciencia . 349 (6251): aac4716. doi : 10.1126 / science.aac4716 . hdl : 10722/230596 . ISSN 0036-8075 . PMID 26315443 . S2CID 218065162 .
- ^ "Resumen de tasas de reproducibilidad y tamaños de efecto para estudios originales y de replicación en general y por revista / disciplina" . Consultado el 16 de octubre de 2019 .
- ^ Roger, Adam (27 de agosto de 2018). "La ciencia detrás de las ciencias sociales se agita de nuevo" . Cableado . Consultado el 28 de agosto de 2018 .
- ^ Camerer, Colin F .; Dreber, Anna; et al. (27 de agosto de 2018). "Evaluación de la replicabilidad de experimentos de ciencias sociales en Nature and Science entre 2010 y 2015" (PDF) . Comportamiento humano de la naturaleza . 2 (9): 637–644. doi : 10.1038 / s41562-018-0399-z . PMID 31346273 . S2CID 52098703 .
- ^ Klein, RA (2018). "Many Labs 2: investigando la variación en la replicabilidad entre muestras y configuraciones" . Avances en métodos y prácticas en ciencia psicológica . 1 (4): 443–490. doi : 10.1177 / 2515245918810225 .
- ^ Witkowski, Tomasz (2019). "¿El vaso está medio vacío o medio lleno? Últimos resultados en la crisis de replicación en Psicología" (PDF) . Investigador escéptico . 43 (2): 5–6. Archivado desde el original (PDF) el 30 de enero de 2020.
- ^ Earp, Brian D .; Trafimow, David (2015). "Replicación, falsificación y crisis de confianza en la psicología social" . Fronteras en psicología . 6 : 621. doi : 10.3389 / fpsyg.2015.00621 . ISSN 1664-1078 . PMC 4436798 . PMID 26042061 .
- ^ a b Everett, Jim Albert Charlton; Earp, Brian D. (1 de enero de 2015). "Una tragedia de los bienes comunes (académicos): interpretar la crisis de replicación en psicología como un dilema social para los investigadores de carrera temprana" . Fronteras en psicología . 6 : 1152. doi : 10.3389 / fpsyg.2015.01152 . PMC 4527093 . PMID 26300832 .
- ^ Earp, Brian D. "¿Resolver la crisis de replicación en psicología social? Una nueva propuesta" . Sociedad de Personalidad y Psicología Social . Consultado el 18 de noviembre de 2015 .
- ^ a b c d Letzter, Rafi (22 de septiembre de 2016). "Los científicos están furiosos después de que una famosa psicóloga acusó a sus compañeros de 'terrorismo metodológico ' " . Business Insider . Consultado el 30 de enero de 2020 .
- ^ "El borrador de la columna del observador genera una fuerte respuesta en las redes sociales" . Asociación de Ciencias Psicológicas . Consultado el 4 de octubre de 2017 .
- ^ Fiske, Susan T. (31 de octubre de 2016). "Un llamado a cambiar la cultura de la vergüenza de la ciencia" . Observador de APS . 29 (9).
- ^ Singal, Jesse (12 de octubre de 2016). "Dentro del debate sobre el terrorismo metodológico de la psicología" . NY Mag . Consultado el 4 de octubre de 2017 .
- ^ "ROMPIENDO....... ¡PNAS actualiza su lema! - Modelado estadístico, inferencia causal y ciencias sociales" . Modelización estadística, inferencia causal y ciencias sociales . 2017-10-04 . Consultado el 4 de octubre de 2017 .
- ^ Ioannidis JA (13 de julio de 2005). "Efectos contradictorios e inicialmente más fuertes en la investigación clínica muy citada" . JAMA . 294 (2): 218-228. doi : 10.1001 / jama.294.2.218 . PMID 16014596 .
- ^ Glick, J. Leslie (1992). "Auditoría de datos científicos: una herramienta de gestión clave". Rendición de cuentas en la investigación . 2 (3): 153–168. doi : 10.1080 / 08989629208573811 .
- ^ a b Begley, CG; Ellis, LM (2012). "Desarrollo de fármacos: elevar los estándares para la investigación preclínica del cáncer" . Naturaleza . 483 (7391): 531–533. Código bibliográfico : 2012Natur.483..531B . doi : 10.1038 / 483531a . PMID 22460880 . S2CID 4326966 .
- ^ Begley, CG (2013). "Reproducibilidad: seis banderas rojas para trabajos sospechosos" . Naturaleza . 497 (7450): 433–434. Código bibliográfico : 2013Natur.497..433B . doi : 10.1038 / 497433a . PMID 23698428 . S2CID 4312732 .
- ^ Mobley, A .; Linder, SK; Braeuer, R .; Ellis, LM; Zwelling, L. (2013). Arakawa, Hirofumi (ed.). "Una encuesta sobre la reproducibilidad de datos en la investigación del cáncer proporciona información sobre nuestra capacidad limitada para traducir los resultados del laboratorio a la clínica" . PLOS ONE . 8 (5): e63221. Código Bibliográfico : 2013PLoSO ... 863221M . doi : 10.1371 / journal.pone.0063221 . PMC 3655010 . PMID 23691000 .
- ^ Baker, Monya (2016). "1.500 científicos levantan la tapa sobre la reproducibilidad" . Naturaleza . 533 (7604): 452–454. Código Bib : 2016Natur.533..452B . doi : 10.1038 / 533452a . PMID 27225100 .
- ^ Ioannidis, JPA (2016). "Por qué la mayoría de las investigaciones clínicas no son útiles" . PLOS Med . 13 (6): e1002049. doi : 10.1371 / journal.pmed.1002049 . PMC 4915619 . PMID 27328301 .
- ^ Hunter, John E. (1 de junio de 2001). "La desesperada necesidad de replicaciones". Revista de investigación del consumidor . 28 (1): 149-158. doi : 10.1086 / 321953 .
- ^ Armstrong, J .; Green, Kesten (24 de enero de 2017). "Pautas para la ciencia: evidencia y listas de verificación" . Documentos de marketing . SSRN 3055874 .
- ^ Aichner, Thomas; Coletti, Paolo; Forza, Cipriano; Perkmann, Urbano; Trentin, Alessio (22 de marzo de 2016). "Efectos de las diferencias subculturales en las evaluaciones de países y productos: un estudio de replicación". Revista de marketing global . 29 (3): 115-127. doi : 10.1080 / 08911762.2015.1138012 . S2CID 155364746 .
- ^ Camerer, Colin F .; Dreber, Anna; Forsell, Eskil; Ho, Teck-Hua; Huber, Jürgen; Johannesson, Magnus; Kirchler, Michael; Almenberg, Johan; Altmejd, Adam (25 de marzo de 2016). "Evaluación de la replicabilidad de experimentos de laboratorio en economía" . Ciencia . 351 (6280): 1433–1436. Código Bibliográfico : 2016Sci ... 351.1433C . doi : 10.1126 / science.aaf0918 . ISSN 0036-8075 . PMID 26940865 .
- ^ Bohannon, John (3 de marzo de 2016). "Alrededor del 40% de los experimentos económicos fallan en la encuesta de replicación" . Ciencia . Consultado el 25 de octubre de 2017 .
- ^ Ioannidis, John PA; Stanley, TD; Doucouliagos, Hristos (1 de octubre de 2017). "El poder del sesgo en la investigación económica". The Economic Journal . 127 (605): F236 – F265. doi : 10.1111 / ecoj.12461 . ISSN 1468-0297 . S2CID 158829482 .
- ^ Halperin, Israel; Vigotsky, Andrew D .; Foster, Carl; Pyne, David B. (1 de febrero de 2018). "Fortalecimiento de la práctica del ejercicio y la investigación en ciencias del deporte" . Revista internacional de fisiología y rendimiento del deporte . 13 (2): 127-134. doi : 10.1123 / ijspp.2017-0322 . hdl : 10072/383414 . ISSN 1555-0273 . PMID 28787228 . S2CID 3695727 .
- ^ Aschwanden, Christie; Nguyen, Mai (16 de mayo de 2018). "Cómo las estadísticas de mala calidad encontraron un hogar en la investigación deportiva" . FiveThirtyEight . Consultado el 16 de mayo de 2018 .
- ^ Stagge, James H .; Rosenberg, David E .; Abdallah, Adel M .; Akbar, Hadia; Attallah, Nour A .; James, Ryan (26 de febrero de 2019). "Evaluación de la disponibilidad de datos y la reproducibilidad de la investigación en hidrología y recursos hídricos" . Datos científicos . 6 : 190030. Código bibliográfico : 2019NatSD ... 690030S . doi : 10.1038 / sdata.2019.30 . ISSN 2052-4463 . PMC 6390703 . PMID 30806638 .
- ^ Oreskes, N. (2018). "Cuidado: la regla de transparencia es un caballo de Troya" . Naturaleza . 557 (7706): 469. Bibcode : 2018Natur.557..469O . doi : 10.1038 / d41586-018-05207-9 . PMID 29789751 .
- ^ a b Saltelli, Andrea (diciembre de 2018). "Por qué la crisis de la ciencia no debe convertirse en un campo de batalla político" . Futuros . 104 : 85–90. doi : 10.1016 / j.futures.2018.07.006 .
- ^ Michaels, D. (2008). La duda es su producto: cómo el ataque de la industria a la ciencia amenaza su salud . Prensa de la Universidad de Oxford. ISBN 9780195300673.
- ^ Białek, Michał (2018). "Las réplicas pueden provocar una creencia distorsionada en el progreso científico" . Ciencias del comportamiento y del cerebro . 41 : e122. doi : 10.1017 / S0140525X18000584 . ISSN 0140-525X . PMID 31064528 .
- ^ a b Mede, Niels G .; Schäfer, Mike S .; Ziegler, Ricarda; Weißkopf, Markus (2020). "La" crisis de la replicación "en el ojo público: la conciencia y las percepciones de los alemanes de la (ir) reproducibilidad de la investigación científica" . Comprensión pública de la ciencia . 30 (1): 91–102. doi : 10.1177 / 0963662520954370 . PMID 32924865 .
- ^ Nissen, Silas Boye; Magidson, Tali; Gross, Kevin; Bergstrom, Carl (20 de diciembre de 2016). "Investigación: Sesgo de publicación y canonización de hechos falsos" . eLife . 5 : e21451. arXiv : 1609.00494 . doi : 10.7554 / eLife.21451 . PMC 5173326 . PMID 27995896 .
- ^ Precio de De Solla; Derek J. (1963). Pequeña ciencia gran ciencia . Prensa de la Universidad de Columbia.
- ^ Siebert, S .; Machesky, LM e Insall, RH (2015). "Desborde en ciencia y sus implicaciones para la confianza" . eLife . 4 : e10825. doi : 10.7554 / eLife.10825 . PMC 4563216 . PMID 26365552 .
- ^ Della Briotta Parolo, P .; Kumar Pan; R. Ghosh; R. Huberman; BA Kimmo Kaski; Fortunato, S. (2015). "Decaimiento de la atención en la ciencia". Revista de Informetrics . 9 (4): 734–745. arXiv : 1503.01881 . Código bibliográfico : 2015arXiv150301881D . doi : 10.1016 / j.joi.2015.07.006 . S2CID 10949754 .
- ^ Mirowski, P. (2011). Science-Mart: privatización de la ciencia estadounidense . Prensa de la Universidad de Harvard.
- ^ Saltelli, A .; Funtowicz, S. (2017). "¿De qué se trata realmente la crisis de la ciencia?" . Futuros . 91 : 5-11. doi : 10.1016 / j.futures.2017.05.010 .
- ^ Benessia, A .; Funtowicz, S .; Giampietro, M .; Guimarães Pereira, A .; Ravetz, J .; Saltelli, A .; Strand, R .; van der Sluijs, J. (2016). El lugar que le corresponde a la ciencia: ciencia al borde . Consortium for Science, Policy and Outcomes en Arizona State University.
- ^ Saltelli, Andrea; Ravetz, Jerome R. y Funtowicz, Silvio (25 de junio de 2016). "Una nueva comunidad para la ciencia" . Nuevo científico . Núm. 3079. pág. 52.
- ^ Smith, Noah (14 de diciembre de 2016). "La señalización académica y el mundo de la posverdad" . Noahpinion . Universidad de Stony Brook . Consultado el 5 de noviembre de 2017 .
- ^ HG Moeller, explicó Luhmann. Compañía Editorial Open Court, 2006.
- ^ N. Luhmann, Sistema social. Prensa de la Universidad de Stanford, 1995.
- ^ A. Saltelli y P.-M. Boulanger , "Tecnociencia, política y nuevos medios. ¿Nexo o vórtice?", Futuros , vol. 115, pág. 102491, noviembre de 2019.
- ^ DA Scheufele, "La comunicación científica como comunicación política", Actas de la Academia Nacional de Ciencias de los Estados Unidos de América , vol. 111 Supl, núm. Suplemento 4, págs. 13585-13592, septiembre de 2014.
- ^ P. Mirowski. Science-Mart: privatización de la ciencia estadounidense . Prensa de la Universidad de Harvard, 2011.
- ^ RA Pielke, Jr. El corredor honesto . Prensa de la Universidad de Cambridge, 2007.
- ^ Moonesinghe, Ramal; Khoury, Muin J .; Janssens, A. Cecile JW (27 de febrero de 2007). "La mayoría de los resultados de las investigaciones publicadas son falsos, pero una pequeña réplica es muy útil" . PLOS Med . 4 (2): e28. doi : 10.1371 / journal.pmed.0040028 . PMC 1808082 . PMID 17326704 .
- ^ Simons, Daniel J. (1 de enero de 2014). "El valor de la replicación directa" . Perspectivas de la ciencia psicológica . 9 (1): 76–80. doi : 10.1177 / 1745691613514755 . ISSN 1745-6916 . PMID 26173243 . S2CID 1149441 .
- ^ Ioannidis, John PA; Fanelli, Daniele; Dunne, Debbie Drake; Goodman, Steven N. (2 de octubre de 2015). "Meta-investigación: Evaluación y mejora de métodos y prácticas de investigación" . PLOS Biología . 13 (10): –1002264. doi : 10.1371 / journal.pbio.1002264 . ISSN 1545-7885 . PMC 4592065 . PMID 26431313 .
- ^ Bach, Autora Becky (8 de diciembre de 2015). "Sobre la comunicación de la ciencia y la incertidumbre: un podcast con John Ioannidis" . Alcance . Consultado el 20 de mayo de 2019 .
- ^ "Informes de replicación registrados" . Asociación de Ciencias Psicológicas . Consultado el 13 de noviembre de 2015 .
- ^ Chambers, Chris (20 de mayo de 2014). "Psicología de la 'revolución de registro ' " . The Guardian . Consultado el 13 de noviembre de 2015 .
- ^ Lindsay, D. Stephen (9 de noviembre de 2015). "Replicación en ciencia psicológica" . Ciencia psicológica . 26 (12): 1827–32. doi : 10.1177 / 0956797615616374 . ISSN 0956-7976 . PMID 26553013 .
- ^ Yeung, Andy WK (2017). "¿Las revistas de neurociencia aceptan réplicas? Un estudio de la literatura" . Fronteras en neurociencia humana . 11 : 468. doi : 10.3389 / fnhum.2017.00468 . ISSN 1662-5161 . PMC 5611708 . PMID 28979201 .
- ^ Martin, GN; Clarke, Richard M. (2017). "¿Son las revistas de psicología anti-replicación? Una instantánea de las prácticas editoriales" . Fronteras en psicología . 8 : 523. doi : 10.3389 / fpsyg.2017.00523 . ISSN 1664-1078 . PMC 5387793 . PMID 28443044 .
- ^ Wallot, Sebastián; Kelty-Stephen, Damian G. (1 de junio de 2018). "Interacción-causalidad dominante en mente y cerebro, y su implicación para cuestiones de generalización y replicación" . Mentes y Máquinas . 28 (2): 353–374. doi : 10.1007 / s11023-017-9455-0 . ISSN 1572-8641 .
- ^ Siegenfeld, Alexander F .; Bar-Yam, Yaneer (2020). "Introducción a la ciencia de sistemas complejos y sus aplicaciones". Complejidad . 2020 : 1–16. arXiv : 1912.05088 . doi : 10.1155 / 2020/6105872 .
- ^ Frank, Michael C .; Saxe, Rebecca (1 de noviembre de 2012). "Enseñanza de la replicación". Perspectivas de la ciencia psicológica . 7 (6): 600–604. doi : 10.1177 / 1745691612460686 . ISSN 1745-6916 . PMID 26168118 . S2CID 33661604 .
- ^ Grahe, Jon E .; Reifman, Alan; Hermann, Anthony D .; Walker, Marie; Oleson, Kathryn C .; Nario-Redmond, Michelle; Wiebe, Richard P. (1 de noviembre de 2012). "Aprovechar los recursos no descubiertos de los proyectos de investigación de los estudiantes" . Perspectivas de la ciencia psicológica . 7 (6): 605–607. doi : 10.1177 / 1745691612459057 . ISSN 1745-6916 . PMID 26168119 .
- ^ Marwick, Ben; Wang, Li-Ying; Robinson, Ryan; Loiselle, Hope (22 de octubre de 2019). "Cómo utilizar asignaciones de replicación para enseñar integridad en arqueología empírica" . Avances en la práctica arqueológica . 8 : 78–86. doi : 10.1017 / aap.2019.38 .
- ^ Benjamin, Daniel J .; et al. (2018). "Redefinir la significación estadística" . Comportamiento humano de la naturaleza . 2 (1): 6–10. doi : 10.1038 / s41562-017-0189-z . PMID 30980045 .
- ^ Lakens, Daniel; et al. (Marzo de 2018). "Justifica tu alfa". Comportamiento humano de la naturaleza . 2 (3): 168-171. doi : 10.1038 / s41562-018-0311-x . hdl : 21.11116 / 0000-0004-9413-F . ISSN 2397-3374 . S2CID 3692182 .
- ^ Colquhoun, David (2015). "Una investigación de la tasa de falsos descubrimientos y la mala interpretación de los valores p " . Ciencia Abierta de la Royal Society . 1 (3): 140216. arXiv : 1407.5296 . Código bibliográfico : 2014RSOS .... 140216C . doi : 10.1098 / rsos.140216 . PMC 4448847 . PMID 26064558 .
- ^ a b c d Colquhoun, David (2017). "La reproducibilidad de la investigación y la mala interpretación de los valores p" . Ciencia Abierta de la Royal Society . 4 (12): 171085. doi : 10.1098 / rsos.171085 . PMC 5750014 . PMID 29308247 .
- ^ Colquhoun, David. "El problema con los valores p" . Revista Aeon . Consultado el 11 de diciembre de 2016 .
- ^ Longstaff, Colin; Colquhoun, David. "Calculadora de riesgo de falso positivo (FPR)" . UCL.
- ^ Matthews, RAJ (2001). "¿Por qué los médicos deberían preocuparse por los métodos bayesianos?". Revista de Planificación e Inferencia Estadística . 94 : 43–58. doi : 10.1016 / S0378-3758 (00) 00232-9 .
- ^ Maxwell, Scott E .; Lau, Michael Y .; Howard, George S. (2015). "¿La psicología está sufriendo una crisis de replicación? ¿Qué significa realmente" no replicar "? Psicólogo estadounidense . 70 (6): 487–498. doi : 10.1037 / a0039400 . PMID 26348332 .
- ^ IntHout, Joanna; Ioannidis, John PA; Borm, George F .; Goeman, Jelle J. (2015). "Los estudios pequeños son más heterogéneos que los grandes: un meta-metaanálisis" . Revista de epidemiología clínica . 68 (8): 860–869. doi : 10.1016 / j.jclinepi.2015.03.017 . PMID 25959635 .
- ^ Button, Katherine S .; Ioannidis, John PA; Mokrysz, Claire; Nosek, Brian A .; Flint, Jonathan; Robinson, Emma SJ; Munafò, Marcus R. (1 de mayo de 2013). "Fallo de energía: por qué el pequeño tamaño de la muestra socava la fiabilidad de la neurociencia" . Nature Reviews Neurociencia . 14 (5): 365–376. doi : 10.1038 / nrn3475 . ISSN 1471-003X . PMID 23571845 .
- ^ Greenwald, Anthony G. (1975). "Consecuencias del prejuicio contra la hipótesis nula" (PDF) . Boletín psicológico . 82 (1): 1–20. doi : 10.1037 / h0076157 .
- ^ Amrhein, Valentin; Korner-Nievergelt, Fränzi; Roth, Tobias (2017). "La tierra es plana (p> 0,05): umbrales de significación y la crisis de la investigación irrepetible" . PeerJ . 5 : e3544. doi : 10.7717 / peerj.3544 . PMC 5502092 . PMID 28698825 .
- ^ a b Ioannidis, John PA (2016). "Anticipar las consecuencias de compartir datos y códigos en bruto y de otorgar insignias por compartir". Revista de epidemiología clínica . 70 : 258–260. doi : 10.1016 / j.jclinepi.2015.04.015 . PMID 26163123 .
- ^ "NWO pone a disposición 3 millones para el piloto de estudios de replicación" . NWO . Consultado el 2 de agosto de 2016 .
- ^ a b c Apple, Sam (22 de enero de 2017). "El joven multimillonario detrás de la guerra contra la mala ciencia" . Cableado .
- ^ Munafò, Marcus R .; Smith, George Davey (23 de enero de 2018). "La investigación sólida necesita muchas líneas de evidencia" . Naturaleza . 553 (7689): 399–401. Bibcode : 2018Natur.553..399M . doi : 10.1038 / d41586-018-01023-3 . PMID 29368721 .
- ^ Gosselin, Romain D. (2019). "El análisis estadístico debe mejorar para abordar la crisis de reproducibilidad: el acceso a las estadísticas transparentes (ACTS) llamado a la acción" . BioEssays . 42 (1): 1900189. doi : 10.1002 / bies.201900189 . PMID 31755115 .
- ^ a b Wheeling, Kate (12 de mayo de 2016). "Big Pharma revela una crisis de replicación biomédica" . Estándar del Pacífico . Consultado el 30 de enero de 2020 . Actualizado el 14 de junio de 2017.
- ^ Prinz, Florian (31 de agosto de 2011). "Lo crea o no: cuánto podemos confiar en los datos publicados sobre posibles objetivos farmacológicos" . Nature Reviews Descubrimiento de medicamentos . 10 (712): 712. doi : 10.1038 / nrd3439-c1 . PMID 21892149 .
Otras lecturas
- Denworth, Lydia (octubre de 2019). "Un problema importante: los métodos científicos estándar están bajo fuego. ¿Cambiará algo?" , Scientific American , vol. 321, no. 4, págs. 62–67. "El uso de valores p durante casi un siglo [desde 1925] para determinar la significación estadística de los resultados experimentales ha contribuido a crear una ilusión de certeza y [a] crisis de reproducibilidad en muchos campos científicos . Existe una creciente determinación de reformar el análisis estadístico ... Algunos [investigadores] sugieren cambiar los métodos estadísticos, mientras que otros eliminarían un umbral para definir resultados 'significativos' ". (pág.63)
- Bastian, Hilda (5 de diciembre de 2016). "Cronología de la crisis de reproducibilidad: hitos en el abordaje de la confiabilidad de la investigación" . Absolutamente tal vez . Consultado el 5 de junio de 2019 .
- Harris, Richard (2017). Rigor Mortis: Cómo la ciencia descuidada crea curas sin valor, aplasta la esperanza y desperdicia miles de millones . Nueva York: Basic Books. ISBN 9780465097906.
- Ritchie, Stuart (julio de 2020). Ciencia ficción: cómo el fraude, el sesgo, la negligencia y la exageración socavan la búsqueda de la verdad . Nueva York: Metropolitan Books. ISBN 9781250222695. Reseña del libro (noviembre de 2020, The American Conservative )