La auditoría de sensibilidad es una extensión del análisis de sensibilidad para su uso en estudios de modelos relevantes para las políticas. Se recomienda su uso, por ejemplo, en las directrices de evaluación de impacto de la Comisión Europea [1] y por las Academias de Ciencias Europeas [2] , cuando se pretende que un análisis de sensibilidad (SA) de un estudio basado en modelos demuestre la solidez de la evidencia proporcionada por el modelo, pero en un contexto donde la inferencia alimenta una política o un proceso de toma de decisiones. [3]
Acercarse
En entornos donde el trabajo científico se alimenta de la política, el encuadre del análisis, su contexto institucional y las motivaciones de su autor pueden volverse muy relevantes, y una SA pura, con su enfoque en la incertidumbre paramétrica (es decir, cuantificada), puede ser insuficiente. El énfasis en el encuadre puede, entre otras cosas, derivar de la relevancia del estudio de políticas para diferentes grupos que se caracterizan por diferentes normas y valores y, por lo tanto, por una historia diferente sobre "cuál es el problema" y sobre todo sobre "quién es". contando la historia '. La mayoría de las veces, el encuadre incluye supuestos implícitos, que pueden ser políticos (por ejemplo, qué grupo necesita ser protegido) hasta técnicos (por ejemplo, qué variable puede tratarse como una constante).
Para tener en cuenta estas preocupaciones, la auditoría de sensibilidad amplía los instrumentos de análisis de sensibilidad para proporcionar una evaluación de todo el proceso de generación de conocimientos y modelos. Se inspira en NUSAP , [4] un método utilizado para calificar el valor (calidad) de la información cuantitativa con la generación de "Pedigríes" de números. Asimismo, se ha desarrollado una auditoría de sensibilidad para proporcionar genealogías de modelos e inferencias basadas en modelos. [3] La auditoría de sensibilidad es especialmente adecuada en un contexto contradictorio, donde no solo la naturaleza de la evidencia, sino también el grado de certeza e incertidumbre asociada a la evidencia, es tema de intereses partidistas. Estos son los escenarios considerados en la ciencia post-normal [5] o en la ciencia del Modo 2 [6] . La ciencia posnormal (SNP) es un concepto desarrollado por Silvio Funtowicz y Jerome Ravetz , [5] [7] [8] que propone una metodología de investigación que es apropiada cuando “los hechos son inciertos, los valores en disputa, hay mucho en juego y las decisiones urgente ”(Funtowicz y Ravetz, 1992: [8] 251-273). Mode 2 Science, acuñado en 1994 por Gibbons et al., Se refiere a un modo de producción de conocimiento científico que se basa en el contexto, se enfoca en problemas e interdisciplinario. Carrozza (2015) [9] ofrece una discusión de estos conceptos y enfoques. La auditoría de sensibilidad, junto con la ciencia posnormal, es una de las lentes recomendadas para estudiar la sostenibilidad. [10]
La Comisión Europea recomienda la auditoría de sensibilidad para su uso en evaluaciones de impacto con el fin de mejorar la calidad de la evidencia basada en modelos que se utiliza para respaldar las decisiones políticas. [1] Se pueden encontrar recomendaciones similares en el informe de la Asociación de Ciencias para la Política de las Academias Europeas SAPEA . [2]
Las normas
La auditoría de sensibilidad se resume en siete reglas o principios rectores:
- Compare el uso retórico de modelos matemáticos. Pregunta abordada: ¿se está utilizando el modelo para dilucidar u ofuscar ?;
- Adopte una actitud de "caza de supuestos". Pregunta abordada: ¿qué se "asumió"? ¿Cuáles son los supuestos tácitos, preanalíticos y posiblemente normativos que subyacen al análisis ?;
- Detectar basura en basura (GIGO). Asunto abordado: se operó una deflación artificial de la incertidumbre para lograr una inferencia deseada con un nivel de confianza deseado. También trabaja en la práctica inversa, la inflación artificial de incertidumbres, por ejemplo, para disuadir la regulación;
- Encuentra suposiciones sensibles antes de que te encuentren a ti. Asunto abordado: anticipe las críticas haciendo una tarea cuidadosa a través de análisis de sensibilidad e incertidumbre antes de publicar los resultados.
- Apunta a la transparencia. Asunto abordado: las partes interesadas deben poder comprender y posiblemente replicar los resultados del análisis;
- Haz las sumas correctas, que es más importante que "Haz las sumas correctas". Asunto abordado: ¿se está descuidando el punto de vista de un actor relevante? ¿Quién decidió que había un problema y cuál era el problema?
- Enfoque el análisis en la pregunta clave respondida por el modelo, explorando todo el espacio de los supuestos de manera integral. Problema abordado: no realice análisis superficiales que solo "arañen la superficie" de las posibles incertidumbres del sistema.
La primera regla analiza el uso instrumental de modelos matemáticos para avanzar en la agenda de uno. Este uso se llama retórico o estratégico, como el uso del latín para confundir u ofuscar a un interlocutor.
La segunda regla sobre la "búsqueda de supuestos" es un recordatorio para buscar lo que se asumió cuando se enmarcó originalmente el modelo. Los modos están llenos de suposiciones ceteris paribus . Por ejemplo, en economía, el modelo puede predecir el resultado de un choque en un conjunto dado de ecuaciones, asumiendo que el resto (todas las demás variables de entrada y entradas) permanecen iguales, pero en la vida real los "ceteris" nunca son "paribus". , lo que significa que las variables tienden a estar vinculadas entre sí, por lo que no pueden cambiar de manera realista independientemente unas de otras.
La regla tres trata sobre exagerar artificialmente o minimizar las incertidumbres cuando sea conveniente. Los grupos de presión del tabaco exageraron las incertidumbres sobre los efectos del tabaquismo en la salud según Oreskes y Conway, [11] mientras que los defensores de la pena de muerte minimizaron las incertidumbres en las relaciones negativas entre la pena capital y la tasa de criminalidad. [12] Claramente, estos últimos querían la política, en este caso la pena de muerte, y estaban interesados en demostrar que la evidencia de apoyo era sólida. En el primer caso, los grupos de presión no querían una regulación (por ejemplo, la prohibición de fumar tabaco en lugares públicos) y, por lo tanto, estaban interesados en amplificar la incertidumbre en la relación de causalidad del efecto sobre la salud y el tabaquismo.
La cuarta regla trata de "confesar" las incertidumbres antes de hacer público el análisis. Esta regla es también uno de los mandamientos de la econometría aplicada según Kennedy: [13] “Confesarás en presencia de sensibilidad. Corolario: anticiparás la crítica '. De acuerdo con esta regla, se debe realizar un análisis de sensibilidad antes de que se publiquen los resultados de un estudio de modelado. Hay muchas buenas razones para hacer esto, una de ellas es que un análisis de sensibilidad cuidadosamente realizado a menudo descubre errores de codificación simple o deficiencias del modelo. La otra es que, la mayoría de las veces, el análisis revela incertidumbres que son mayores que las anticipadas por los desarrolladores del modelo.
La quinta regla trata sobre la presentación de los resultados del estudio de modelado de forma transparente. Ambas reglas se originan en la práctica de la evaluación de impacto, donde un estudio de modelado presentado sin una EA adecuada, o como proveniente de un modelo que de hecho es una caja negra, puede terminar siendo rechazado por las partes interesadas. [14] Tanto la cuarta como la quinta reglas sugieren que la reproducibilidad puede ser una condición para la transparencia y que esta última puede ser una condición para la legitimidad. [15]
La regla seis, acerca de hacer la suma correcta, no está lejos de la regla de "caza de supuestos"; es simplemente más general. Se trata del hecho de que a menudo un analista se pone a trabajar en un análisis enmarcado arbitrariamente en beneficio de una de las partes. En algún momento, esto se debe a la elección de la disciplina seleccionada para realizar el análisis. Por lo tanto, un problema de impacto ambiental puede enmarcarse a través de los lentes de la economía y presentarse como un análisis de costo-beneficio o riesgo, mientras que el problema tiene poco que ver con costos o beneficios o riesgos y mucho que ver con ganancias, controles y normas. Un ejemplo está en Marris et al. [16] sobre el tema de los OGM, presentado principalmente en el discurso público como un tema de seguridad alimentaria, mientras que el espectro de preocupaciones de los oponentes a los OGM, incluidos los ciudadanos no profesionales, parece más amplio. Un enfoque que extiende esta regla particular a un espectro de marcos plausibles es la llamada narración cuantitativa .
La regla siete trata de evitar un análisis de sensibilidad superficial . Un SA en el que cada entrada incierta se mueve a la vez mientras se dejan fijas todas las demás entradas es superficial. [17] Un verdadero SA debe hacer un esfuerzo honesto para explorar todas las incertidumbres simultáneamente, dejando el modelo libre para mostrar su comportamiento completo no lineal y posiblemente no aditivo. Un punto similar se hace en el libro de Sam L. Savage "El defecto de los promedios". [18]
Preguntas abordadas por la auditoría de sensibilidad
En conclusión, estas reglas están destinadas a ayudar al analista a anticipar las críticas, en particular las relacionadas con la inferencia basada en modelos que se incorpora a una evaluación de impacto. ¿Qué preguntas y objeciones puede recibir el modelador? Aquí hay una lista posible:
- Trataste X como una constante cuando sabemos que es incierto al menos en un 30%
- Bastaría con un error del 5% en X para hacer que su declaración sobre Z sea frágil
- Su modelo es solo uno de los modelos plausibles: descuidó la incertidumbre del modelo
- Ha maximizado instrumentalmente su nivel de confianza en los resultados.
- Su modelo es una caja negra , ¿por qué debería confiar en sus resultados?
- Has inflado artificialmente la incertidumbre
- Tu encuadre no es socialmente robusto
- Estas respondiendo la pregunta equivocada
Auditoría de sensibilidad en las Directrices de la Comisión Europea
La auditoría de sensibilidad se describe en las Directrices de la Comisión Europea para la evaluación de impacto. [1] Los extractos relevantes son (págs. 392):
- "[...] cuando hay un desacuerdo importante entre las partes interesadas sobre la naturaleza del problema, ... entonces la auditoría de sensibilidad es más adecuada, pero el análisis de sensibilidad sigue siendo recomendable como uno de los pasos de la auditoría de sensibilidad".
- "La auditoría de sensibilidad […] es una consideración más amplia del efecto de todos los tipos de incertidumbre, incluidos los supuestos estructurales incrustados en el modelo y las decisiones subjetivas tomadas en el marco del problema".
- "El objetivo final es comunicar de manera abierta y honesta hasta qué punto se pueden utilizar modelos particulares para respaldar las decisiones políticas y cuáles son sus limitaciones".
- "En general, la auditoría de sensibilidad enfatiza la idea de comunicar honestamente hasta qué punto se puede confiar en los resultados del modelo, teniendo en cuenta en la mayor medida posible todas las formas de incertidumbre potencial y anticipar las críticas de terceros".
Informe SAPEA
La asociación de ciencia para la política de las Academias Europeas SAPEA describe en detalle la auditoría de sensibilidad en su informe de 2019 titulado " Dar sentido a la ciencia para la política en condiciones de complejidad e incertidumbre ". [2]
Aplicaciones
La aplicación de conceptos de la auditoría de sensibilidad son al estudio OCDE-PISA, [19] seguridad alimentaria, [20] nutrición, [21] la huella ecológica . [22]
Desarrollos
La auditoría de sensibilidad es una de las herramientas recomendadas en el contexto de una posible ética de la cuantificación , [23] [24] que tiene como objetivo identificar elementos éticos comunes en diferentes problemas vistos en la cuantificación, como la fijación de métricas, [25] mal uso de estadísticas, [ 26] modelado deficiente [27] y algoritmos poco éticos. [28]
Referencias
- ^ a b c Comisión Europea. (2015). Directrices sobre evaluación de impacto: Comisión Europea Directrices para la mejora de la legislación de la Comisión Europea
- ^ a b c Asesoramiento científico para la política de las academias europeas, Dar sentido a la ciencia para la política en condiciones de complejidad e incertidumbre , Berlín, 2019.
- ^ a b Saltelli, A., van der Sluijs, J., Guimarães Pereira, Â., 2013, Funtowiz, SO, ¿Qué hago con tu Latinorum? Auditoría de sensibilidad de modelos matemáticos, International Journal Foresight and Innovation Policy, 9 (2/3/4), 213–234.
- ^ Van der Sluijs JP, Craye M, Funtowicz S, Kloprogge P, Ravetz J, Risbey J (2005) Combinación de medidas cuantitativas y cualitativas de incertidumbre en la evaluación ambiental basada en modelos: el sistema NUSAP. Análisis de riesgo 25 (2): 481-492
- ^ a b Funtowicz, SO & Ravetz, JR 1993. Ciencia para la edad posnormal. Futures, 25 (7), 739–755.
- ^ Gibbons, Michael; Camille Limoges; Helga Nowotny; Simon Schwartzman; Peter Scott; Martin Trow (1994). La nueva producción de conocimiento: la dinámica de la ciencia y la investigación en las sociedades contemporáneas. Londres: Sage. ISBN 0-8039-7794-8 .
- ^ Funtowicz, SO y Jerome R. Ravetz (1991). "Una nueva metodología científica para problemas ambientales globales". En Economía Ecológica: Ciencia y Gestión de la Sostenibilidad. Ed. Robert Costanza. Nueva York: Columbia University Press: 137-152.
- ^ a b Funtowicz, SO y Ravetz, JR 1992. Tres tipos de evaluación de riesgos y el surgimiento de la ciencia posnormal. En S. Krimsky y D. Golding (Eds.), Teorías sociales del riesgo (págs. 251-273). Westport, CT: Greenwood.
- ^ Carrozza, C., 2015. "Democratización de la experiencia y la gobernanza ambiental: diferentes enfoques de la política de la ciencia y su relevancia para el análisis de políticas", Revista de política y planificación ambiental, 17 (1), 108-126.
- ^ Saltelli, A., Benini, L., Funtowicz, S., Giampietro, M., Kaiser, M., Reinert, ES y van der Sluijs, JP (2020). La técnica nunca es neutral. Cómo las elecciones metodológicas condicionan la generación de narrativas para la sostenibilidad. Environmental Science and Policy, Volumen 106, abril de 2020, páginas 87-98, https://doi.org/10.1016/j.envsci.2020.01.008
- ^ Oreskes N, Conway EM (2010) Merchants of Doubt: cómo un puñado de científicos oscureció la verdad sobre cuestiones desde el humo del tabaco hasta el calentamiento global. Bloomsbury Press, Nueva York.
- ↑ Leamer EE (2010) Tantalus on the road to asymptopia. Revista de perspectivas económicas 4 (2): 31-46.
- ^ Kennedy, P. (2007) Una guía de econometría, 5ª ed., P. 396, Blackwell Publishing, Oxford.
- ^ Saltelli, A., Funtowicz, S., 2014, Cuando todos los modelos son incorrectos: se necesitan criterios de calidad más estrictos para los modelos utilizados en la interfaz ciencia-política, Problemas de ciencia y tecnología, invierno de 2014, 79-85.
- ^ Saltelli, A., Funtowicz, S., 2015 Política basada en evidencias al final del sueño cartesiano: el caso del modelado matemático, en "El fin del sueño cartesiano", editado por Ângela Guimarães Pereira y Silvio Funtowicz, Routledge, pág. 147-162.
- ^ Marris, C., Wynne, B., Simmons, P. y Weldon, Sue. 2001. Informe final del proyecto de investigación PABE financiado por la Comisión de las Comunidades Europeas, número de contrato: FAIR CT98-3844 DG12-SSMI) diciembre, Lancaster: Universidad de Lancaster.
- ^ Saltelli, A., Annoni, P., 2010, Cómo evitar un análisis de sensibilidad superficial, Modelado ambiental y software, 25, 1508-1517 https://doi.org/10.1016/j.envsoft.2010.04.012 .
- ^ Savage SL (2009) El defecto de los promedios: por qué subestimamos el riesgo ante la incertidumbre, Wiley.
- ^ L. Araujo, A. Saltelli y SV Schnepf, “¿Los datos de PISA justifican la política educativa basada en PISA?” Int. J. Comp. Educ. Dev., Vol. 19, no. 1, págs. 20–34, 2017 https://doi.org/10.1108/IJCED-12-2016-0023 .
- ^ A. Saltelli y S. Lo Piano, "Cuantificaciones problemáticas: una evaluación crítica del escenario que genera una producción alimentaria global 'sostenible'", Food Ethics, vol. 1, no. 2, págs. 173-179, 2017 https://doi.org/10.1007/s41055-017-0020-6 .
- ^ S. Lo Piano y M. Robinson, "Evaluaciones económicas de nutrición y salud pública bajo los lentes de la ciencia post-normal", Futures, vol. 112, pág. 102436, septiembre de 2019 https://doi.org/10.1016/j.futures.2019.06.008 .
- ^ A. Galli et al., "Cuestionando la huella ecológica", Ecol. Indic., Vol. 69, págs. 224-232, octubre de 2016.
- ↑ Saltelli, A. (2019). Modelado estadístico versus matemático: un breve comentario. Nature Communications, 10, 1-3. https://doi.org/10.1038/s41467-019-11865-8 .
- ↑ Saltelli, A. (2020). ¿Ética de la cuantificación o cuantificación de la ética? Futuros, https://doi.org/10.1016/j.futures.2019.102509 .
- ↑ Muller, JZ (2018). La tiranía de las métricas. Prensa de la Universidad de Princeton.
- ^ Wasserstein, RL y Lazar, NA (2016). Declaración de la ASA sobre valores p: contexto, proceso y propósito. The American Statistician, 70 (2), 129-133.
- ↑ Saltelli, A. (2018). ¿Deberían las estadísticas rescatar el modelado matemático? ArXiv, arXiv: 1712 (06457.
- ^ O'Neil, C. (2016). Armas de destrucción matemática: cómo los macrodatos aumentan la desigualdad y amenazan la democracia. Grupo Editorial de Random House.