De Wikipedia, la enciclopedia libre
Saltar a navegación Saltar a búsqueda

La reproducibilidad es un principio fundamental del método científico . Significa que un resultado obtenido por un experimento o estudio observacional debe lograrse nuevamente con un alto grado de concordancia cuando el estudio es replicado con la misma metodología por diferentes investigadores. Solo después de una o varias de estas réplicas exitosas se debería reconocer un resultado como conocimiento científico.

Con un alcance más estrecho, se ha introducido la reproducibilidad en las ciencias computacionales : cualquier resultado debe documentarse haciendo que todos los datos y el código estén disponibles de tal manera que los cálculos se puedan ejecutar nuevamente con resultados idénticos.

Los términos replicabilidad y repetibilidad se utilizan en el contexto de reproducibilidad, ver más abajo.

En las últimas décadas, ha habido una preocupación creciente de que muchos resultados científicos publicados no pasen la prueba de reproducibilidad, lo que evoca una crisis de reproducibilidad o replicabilidad .

Historia [ editar ]

La bomba de aire de Boyle era, en términos del siglo XVII, un aparato científico complicado y costoso, lo que dificultaba la reproducibilidad de los resultados.

El primero en subrayar la importancia de la reproducibilidad en la ciencia fue el químico irlandés Robert Boyle , en Inglaterra en el siglo XVII. La bomba de aire de Boyle fue diseñada para generar y estudiar vacío , que en ese momento era un concepto muy controvertido. De hecho, distinguidos filósofos como René Descartes y Thomas Hobbes negaron la posibilidad misma de la existencia del vacío. Los historiadores de la ciencia Steven Shapin y Simon Schaffer , en su libro de 1985 Leviathan and the Air-Pump, describen el debate entre Boyle y Hobbes, aparentemente sobre la naturaleza del vacío, fundamentalmente como un argumento sobre cómo se debe obtener un conocimiento útil. Boyle, un pionero del método experimental , sostuvo que los fundamentos del conocimiento deben estar constituidos por hechos producidos experimentalmente, que pueden volverse creíbles para una comunidad científica por su reproducibilidad. Al repetir el mismo experimento una y otra vez, argumentó Boyle, surgirá la certeza de los hechos.

La bomba de aire, que en el siglo XVII era un aparato complicado y costoso de construir, también dio lugar a una de las primeras disputas documentadas sobre la reproducibilidad de un fenómeno científico en particular. En la década de 1660, el científico holandés Christiaan Huygens construyó su propia bomba de aire en Ámsterdam , la primera fuera de la gestión directa de Boyle y su asistente en ese momento Robert Hooke.. Huygens informó de un efecto que denominó "suspensión anómala", en el que el agua parecía levitar en un frasco de vidrio dentro de su bomba de aire (de hecho suspendida sobre una burbuja de aire), pero Boyle y Hooke no pudieron replicar este fenómeno en sus propias bombas. Como describen Shapin y Schaffer, “quedó claro que a menos que el fenómeno pudiera producirse en Inglaterra con una de las dos bombas disponibles, nadie en Inglaterra aceptaría las afirmaciones que Huygens había hecho, o su competencia para hacer funcionar la bomba”. Huygens fue finalmente invitado a Inglaterra en 1663 y, bajo su guía personal, Hooke pudo reproducir una suspensión anómala de agua. Después de esto, Huygens fue elegido miembro extranjero de la Royal Society.. Sin embargo, Shapin y Schaffer también señalan que “el logro de la replicación dependía de actos de juicio contingentes. No se puede escribir una fórmula que diga cuándo se logró o no la replicación ”. [1]

El filósofo de la ciencia Karl Popper señaló brevemente en su famoso libro de 1934 La lógica del descubrimiento científico que “los sucesos únicos no reproducibles no tienen importancia para la ciencia”. [2] El estadístico Ronald Fisher escribió en su libro de 1935 El diseño de experimentos , que sentó las bases para la práctica científica moderna de la prueba de hipótesis y la significación estadística , que “podemos decir que un fenómeno es demostrable experimentalmente cuando sabemos cómo conducir un experimento que rara vez dejará de darnos resultados estadísticamente significativos ”. [3] Tales afirmaciones expresan un comúndogma en la ciencia moderna de que la reproducibilidad es una condición necesaria (aunque no necesariamente suficiente ) para establecer un hecho científico y, en la práctica, para establecer una autoridad científica en cualquier campo del conocimiento. Sin embargo, como señalaron anteriormente Shapin y Schaffer, este dogma no está bien formulado cuantitativamente, como la significación estadística, por ejemplo, y por lo tanto no se establece explícitamente cuántas veces debe repetirse un hecho para que se considere reproducible.

Replicabilidad, repetibilidad [ editar ]

Se distinguen naturalmente dos pasos principales en relación con la reproducibilidad de los estudios experimentales u observacionales: cuando se obtienen nuevos datos en un intento por lograrlo, a menudo se usa el término replicabilidad , y el nuevo estudio es una réplica o réplica del original. Al obtener los mismos resultados al analizar de nuevo el conjunto de datos del estudio original con los mismos procedimientos, muchos autores utilizan el término reproducibilidad en un sentido técnico y estrecho derivado de su uso en la investigación computacional. La repetibilidad está relacionada con la repetición.del experimento dentro del mismo estudio por los mismos investigadores. La reproducibilidad en el sentido original y amplio solo se reconoce si una réplica realizada por un equipo de investigadores independientes tiene éxito.

Desafortunadamente, los términos reproducibilidad y replicabilidad aparecen en la literatura también con significado inverso.[4] [5]

Medidas de reproducibilidad y repetibilidad [ editar ]

En química, los términos reproducibilidad y repetibilidad se utilizan con un significado cuantitativo específico: en experimentos entre laboratorios, una concentración u otra cantidad de una sustancia química se mide repetidamente en diferentes laboratorios para evaluar la variabilidad de las mediciones. Entonces, la desviación estándar de la diferencia entre dos valores obtenidos dentro del mismo laboratorio se llama repetibilidad. La desviación estándar de la diferencia entre dos mediciones de diferentes laboratorios se llama reproducibilidad . [6] Estas medidas están relacionadas con el concepto más general de componentes de varianza en metrología .

Investigación reproducible [ editar ]

Método de investigación reproducible [ editar ]

El término investigación reproducible se refiere a la idea de que los resultados científicos deben documentarse de tal manera que su deducción sea totalmente transparente. Esto requiere una descripción detallada de los métodos utilizados para obtener los datos [7] [8] y hacer que el conjunto de datos completo y el código para calcular los resultados sean fácilmente accesibles. [9] [10] [11] [12] [13] [14] Esta es la parte esencial de la ciencia abierta .

Para que cualquier proyecto de investigación sea reproducible computacionalmente, la práctica general implica que todos los datos y archivos estén claramente separados, etiquetados y documentados. Todas las operaciones deben estar completamente documentadas y automatizadas tanto como sea posible, evitando la intervención manual cuando sea posible. El flujo de trabajo debe diseñarse como una secuencia de pasos más pequeños que se combinan de modo que las salidas intermedias de un paso se alimenten directamente como entradas en el siguiente paso. Se debe usar el control de versiones, ya que permite revisar fácilmente el historial del proyecto y permite documentar y rastrear los cambios de manera transparente.

Un flujo de trabajo básico para una investigación reproducible implica la adquisición de datos, el procesamiento de datos y el análisis de datos. La adquisición de datos consiste principalmente en obtener datos primarios de una fuente primaria como encuestas, observaciones de campo, investigación experimental u obtener datos de una fuente existente. El procesamiento de datos implica el procesamiento y revisión de los datos sin procesar recopilados en la primera etapa, e incluye la entrada de datos, la manipulación y el filtrado de datos, y puede realizarse mediante software. Los datos deben digitalizarse y prepararse para su análisis. Los datos se pueden analizar con el uso de software para interpretar o visualizar estadísticas o datos para producir los resultados deseados de la investigación, como resultados cuantitativos, incluidas figuras y tablas. El uso de software y la automatización mejora la reproducibilidad de los métodos de investigación. [15]

Existen sistemas que facilitan dicha documentación, como el lenguaje R Markdown [16] o el cuaderno Jupyter . [17] El Open Science Framework proporciona una plataforma y herramientas útiles para respaldar la investigación reproducible.

Investigación reproducible en la práctica [ editar ]

La psicología ha visto una renovación de las preocupaciones internas sobre los resultados irreproducibles (ver la entrada sobre la crisis de replicabilidad para obtener resultados empíricos sobre las tasas de éxito de las replicaciones). Los investigadores mostraron en un estudio de 2006 que, de 141 autores de artículos empíricos de una publicación de la Asociación Estadounidense de Psicología (APA), 103 (73%) no respondieron con sus datos durante un período de seis meses. [18] En un estudio de seguimiento publicado en 2015, se encontró que 246 de 394 autores de artículos en revistas de la APA contactados no compartieron sus datos a pedido (62%). [19] En un artículo de 2012, se sugirió que los investigadores deberían publicar datos junto con sus trabajos, y se publicó un conjunto de datos a modo de demostración. [20] En 2017, un artículo publicado enScientific Data sugirió que esto puede no ser suficiente y que se debe divulgar todo el contexto del análisis. [21]

En economía, se han planteado preocupaciones en relación con la credibilidad y fiabilidad de la investigación publicada. En otras ciencias, la reproducibilidad se considera fundamental y, a menudo, un requisito previo para la publicación de la investigación, sin embargo, en las ciencias económicas no se considera una prioridad de la mayor importancia. La mayoría de las revistas económicas revisadas por pares no toman medidas sustanciales para garantizar que los resultados publicados sean reproducibles; sin embargo, las principales revistas económicas se han movido para adoptar archivos de código y datos obligatorios. [22]Los incentivos para que los investigadores compartan sus datos son escasos o nulos, y los autores tendrían que asumir los costos de recopilar los datos en formas reutilizables. La investigación económica a menudo no es reproducible, ya que solo una parte de las revistas tienen políticas de divulgación adecuadas para los conjuntos de datos y el código del programa, e incluso si las tienen, los autores con frecuencia no las cumplen o el editor no las hace cumplir. Un estudio de 599 artículos publicados en 37 revistas revisadas por pares reveló que, si bien algunas revistas han logrado tasas de cumplimiento significativas, una parte significativa solo ha cumplido parcialmente o no ha cumplido en absoluto. A nivel de artículo, la tasa de cumplimiento promedio fue del 47,5%; ya nivel de revista, la tasa de cumplimiento promedio fue del 38%, con un rango de 13% a 99%. [23]

Un estudio de 2018 publicado en la revista PLOS ONE encontró que el 14,4% de una muestra de investigadores de salud pública había compartido sus datos o código o ambos. [24]

Ha habido iniciativas para mejorar los informes y, por lo tanto, la reproducibilidad en la literatura médica durante muchos años, comenzando con la iniciativa CONSORT , que ahora es parte de una iniciativa más amplia, la Red EQUATOR . Este grupo ha centrado recientemente su atención en cómo una mejor información podría reducir el desperdicio en la investigación, [25] especialmente la investigación biomédica.

La investigación reproducible es clave para nuevos descubrimientos en farmacología . Un descubrimiento de Fase I será seguido por reproducciones de Fase II a medida que un fármaco se desarrolla hacia la producción comercial. En las últimas décadas, el éxito de la Fase II ha caído del 28% al 18%. Un estudio de 2011 encontró que el 65% de los estudios médicos eran inconsistentes cuando se volvían a probar, y solo el 6% eran completamente reproducibles. [26]

Resultados irreproducibles notables [ editar ]

Hideyo Noguchi se hizo famoso por identificar correctamente el agente bacteriano de la sífilis , pero también afirmó que podía cultivar este agente en su laboratorio. Nadie más ha podido producir este último resultado. [27]

En marzo de 1989, los químicos de la Universidad de Utah Stanley Pons y Martin Fleischmann informaron sobre la producción de un exceso de calor que solo podía explicarse mediante un proceso nuclear (" fusión fría "). El informe fue asombroso dada la simplicidad del equipo: era esencialmente una celda de electrólisis que contenía agua pesada y un cátodo de paladio que absorbía rápidamente el deuterio producido durante la electrólisis. Los medios de comunicación informaron ampliamente sobre los experimentos y fue un artículo de primera plana en muchos periódicos de todo el mundo (ver ciencia en conferencia de prensa ). Durante los meses siguientes, otros intentaron replicar el experimento, pero no tuvieron éxito.[28]

Nikola Tesla afirmó ya en 1899 haber usado una corriente de alta frecuencia para encender lámparas llenas de gas desde más de 25 millas (40 km) de distancia sin usar cables . En 1904 construyó Wardenclyffe Tower en Long Island para demostrar los medios para enviar y recibir energía sin conectar cables. La instalación nunca estuvo en pleno funcionamiento y no se completó debido a problemas económicos, por lo que nunca se llevó a cabo ningún intento de reproducir su primer resultado. [29]

Otros ejemplos cuya evidencia contraria ha refutado la afirmación original:

  • Adquisición de pluripotencia provocada por estímulos , que se revela como resultado de un fraude
  • GFAJ-1 , una bacteria que supuestamente podría incorporar arsénico en su ADN en lugar de fósforo
  • Controversia de la vacuna MMR : un estudio en The Lancet que afirma que la vacuna MMR causó autismo se reveló fraudulenta
  • Escándalo de Schön : los "avances" de semiconductores revelados como fraudulentos
  • Poses de poder : un fenómeno de psicología social que se volvió viral después de ser el tema de una charla TED muy popular , pero que no pudo ser replicado en docenas de estudios [30]

Ver también [ editar ]

Referencias [ editar ]

  1. ^ Steven Shapin y Simon Schaffer , Leviathan y la bomba de aire , Princeton University Press, Princeton, Nueva Jersey (1985).
  2. ^ Esta cita es de la traducción de 1959 al inglés, Karl Popper , The Logic of Scientific Discovery , Routledge, London, 1992, p. 66.
  3. ^ Ronald Fisher , El diseño de experimentos , (1971) [1935] (9ª ed.), Macmillan, p. 14.
  4. ^ Barba, Lorena A. "Terminologías para la investigación reproducible" (PDF) . Consultado el 15 de octubre de 2020 .
  5. ^ Liberman, Mark. "Replicabilidad versus reproducibilidad, ¿o es al revés?" . Consultado el 15 de octubre de 2020 .
  6. ^ Subcomité E11.20 sobre evaluación de métodos de prueba y control de calidad (2014). "Práctica estándar para el uso de los términos precisión y sesgo en los métodos de prueba de ASTM" . ASTM International. ASTM E177.(requiere suscripción)
  7. ^ Rey, Gary (1995). "Replicación, replicación" . PD: Ciencia política y política . 28 (3): 444–452. doi : 10.2307 / 420301 . ISSN 1049-0965 . JSTOR 420301 .  
  8. ^ Kühne, Martin; Liehr, Andreas W. (2009). "Mejora de la gestión tradicional de la información en ciencias naturales" . Revista de ciencia de datos . 8 (1): 18-27. doi : 10.2481 / dsj.8.18 .
  9. ^ Fomel, Sergey; Claerbout, Jon (2009). "Introducción de los editores invitados: investigación reproducible". Computación en Ciencias e Ingeniería . 11 (1): 5–7. Código Bibliográfico : 2009CSE .... 11a ... 5F . doi : 10.1109 / MCSE.2009.14 .
  10. ^ Buckheit, Jonathan B .; Donoho, David L. (mayo de 1995). WaveLab y la investigación reproducible (PDF) (Informe). California, Estados Unidos: Universidad de Stanford , Departamento de Estadística. Informe técnico No. 474 . Consultado el 5 de enero de 2015 .
  11. ^ "La mesa redonda de la Facultad de Derecho de Yale sobre intercambio de datos y núcleo:" Investigación reproducible " " . Computación en Ciencias e Ingeniería . 12 (5): 8-12. 2010. doi : 10.1109 / MCSE.2010.113 .
  12. ^ Marwick, Ben (2016). "Reproducibilidad computacional en la investigación arqueológica: principios básicos y un estudio de caso de su implementación" . Revista de Teoría y Método Arqueológico . 24 (2): 424–450. doi : 10.1007 / s10816-015-9272-9 . S2CID 43958561 . 
  13. ^ Goodman, Steven N .; Fanelli, Daniele; Ioannidis, John PA (1 de junio de 2016). "¿Qué significa la reproducibilidad de la investigación?" . Medicina traslacional de la ciencia . 8 (341): 341ps12. doi : 10.1126 / scitranslmed.aaf5027 . PMID 27252173 . 
  14. ^ Harris JK; Johnson KJ; Combs TB; Carothers BJ; Luke DA; Wang X (2019). "Tres cambios que los científicos de salud pública pueden hacer para ayudar a construir una cultura de investigación reproducible" . Rep. De Salud Pública Informes de Salud Pública . 134 (2): 109-111. doi : 10.1177 / 0033354918821076 . ISSN 0033-3549 . OCLC 7991854250 . PMC 6410469 . PMID 30657732 .    
  15. ^ Kitzes, Justin; Turek, Daniel; Deniz, Fatma (2018). La práctica de estudios de casos de investigación reproducibles y lecciones de las ciencias intensivas en datos . Oakland, California: Prensa de la Universidad de California. págs. 19-30. ISBN 9780520294745.
  16. ^ Marwick, Ben; Boettiger, Carl; Mullen, Lincoln (29 de septiembre de 2017). "Empaquetar datos de trabajo analítico de forma reproducible usando R (y amigos)" . El estadístico estadounidense . 72 : 80–88. doi : 10.1080 / 00031305.2017.1375986 . S2CID 125412832 . 
  17. ^ Kluyver, Thomas; Ragan-Kelley, Benjamin; Pérez, Fernando; Granger, Brian; Bussonnier, Matthias; Frederic, Jonathan; Kelley, Kyle; Hamrick, Jessica; Grout, Jason; Corlay, Sylvain (2016). "Jupyter Notebooks: un formato de publicación para flujos de trabajo computacionales reproducibles" (PDF) . En Loizides, F; Schmidt, B (eds.). Posicionamiento y poder en la edición académica: actores, agentes y agendas . IOS Press. págs. 87–90.
  18. ^ Wicherts, JM; Borsboom, D .; Kats, J .; Molenaar, D. (2006). "La escasa disponibilidad de datos de investigación psicológica para reanálisis". Psicólogo estadounidense . 61 (7): 726–728. doi : 10.1037 / 0003-066X.61.7.726 . PMID 17032082 . 
  19. ^ Vanpaemel, W .; Vermorgen, M .; Deriemaecker, L .; Tormentas, G. (2015). "¿Estamos desperdiciando una buena crisis? La disponibilidad de datos de investigación psicológica después de la tormenta" . Collabro . 1 (1): 1–5. doi : 10.1525 / collabra.13 .
  20. ^ Wicherts, JM; Bakker, M. (2012). "¡Publique (sus datos) o (deje que los datos) perezcan! ¿Por qué no publicar sus datos también?". Inteligencia . 40 (2): 73–76. doi : 10.1016 / j.intell.2012.01.004 .
  21. ^ Pasquier, Thomas; Lau, Matthew K .; Trisovic, Ana; Boose, Emery R .; El modisto, Ben; Crosas, Mercè; Ellison, Aaron M .; Gibson, Valerie; Jones, Chris R .; Seltzer, Margo (5 de septiembre de 2017). "Si estos datos pudieran hablar" . Datos científicos . 4 : 170114. Bibcode : 2017NatSD ... 470114P . doi : 10.1038 / sdata.2017.114 . PMC 5584398 . PMID 28872630 .  
  22. ^ McCullough, Bruce (marzo de 2009). "Revistas de economía de acceso abierto y el mercado de la investigación económica reproducible". Análisis y política económica . 39 (1): 117-126. doi : 10.1016 / S0313-5926 (09) 50047-1 .
  23. ^ Vlaeminck, Sven; Podkrajac, Felix (10 de diciembre de 2017). "Revistas de Ciencias Económicas: ¿Pagar el servicio de labios a la investigación reproducible?" . IASSIST trimestral . 41 (1–4): 16. doi : 10.29173 / iq6 . hdl : 11108/359 .
  24. ^ Harris, Jenine K .; Johnson, Kimberly J .; Carothers, Bobbi J .; Combs, Todd B .; Luke, Douglas A .; Wang, Xiaoyan (2018). "Uso de prácticas de investigación reproducibles en salud pública: una encuesta de analistas de salud pública" . PLOS ONE . 13 (9): e0202447. Código bibliográfico : 2018PLoSO..1302447H . doi : 10.1371 / journal.pone.0202447 . ISSN 1932-6203 . OCLC 7891624396 . PMC 6135378 . PMID 30208041 .    
  25. ^ "Conferencia de residuos de investigación / EQUATOR | Residuos de investigación" . researchwaste.net . Archivado desde el original el 29 de octubre de 2016.
  26. ^ Prinz, F .; Schlange, T .; Asadullah, K. (2011). "Lo crea o no: ¿Cuánto podemos confiar en los datos publicados sobre posibles objetivos farmacológicos?" . Nature Reviews Descubrimiento de medicamentos . 10 (9): 712. doi : 10.1038 / nrd3439-c1 . PMID 21892149 . 
  27. ^ Bronceado, SY; Furubayashi, J (2014). "Hideyo Noguchi (1876-1928): bacteriólogo distinguido" . Revista médica de Singapur . 55 (10): 550–551. doi : 10.11622 / smedj.2014140 . ISSN 0037-5675 . PMC 4293967 . PMID 25631898 .   
  28. ^ Browne, Malcolm (3 de mayo de 1989). "Los físicos refutan la afirmación de un nuevo tipo de fusión" . New York Times . Consultado el 3 de febrero de 2017 .
  29. ^ Cheney, Margaret (1999), Tesla, Master of Lightning , Nueva York: Barnes & Noble Books, ISBN 0-7607-1005-8 , págs. 107; "Incapaz de superar sus cargas financieras, se vio obligado a cerrar el laboratorio en 1905". 
  30. ^ Dominus, Susan (18 de octubre de 2017). "Cuando llegó la revolución para Amy Cuddy" . Revista del New York Times .
  • Turner, William (1903), Historia de la Filosofía , Ginn and Company, Boston, MA, Etext . Ver especialmente: "Aristóteles" .
  • Definición , por la Unión Internacional de Química Pura y Aplicada

Lectura adicional [ editar ]

  • Timmer, John (octubre de 2006). "Científicos de la ciencia: reproducibilidad" . Ars Technica .
  • Saey, Tina Hesman (enero de 2015). "¿Rehacer la investigación científica es la mejor manera de encontrar la verdad? Durante los intentos de replicación, demasiados estudios no logran aprobarse" . Noticias de ciencia . "La ciencia no está irrevocablemente rota, afirma [el epidemiólogo John Ioannidis]. Solo necesita algunas mejoras." A pesar de que he publicado artículos con títulos bastante depresivos, en realidad soy optimista ", dice Ioannidis. “No encuentro otra inversión de una sociedad que esté mejor situada que la ciencia”.

Enlaces externos [ editar ]

  • Papeles reproducibles con artefactos
  • Directrices para evaluar y expresar la incertidumbre de los resultados de las mediciones del NIST
  • Definición de reproducibilidad en el Libro de oro de la IUPAC
  • ReproducibleResearch.net
  • cTuning.org: investigación y experimentación reproducible en ingeniería informática
  • Directrices para la promoción de la transparencia y la apertura (TOP)
  • Directrices TOP del Center for Open Science