El juicio de probabilidad absoluta es una técnica utilizada en el campo de la evaluación de la confiabilidad humana (HRA), con el propósito de evaluar la probabilidad de un error humano.que ocurren durante la realización de una tarea específica. A partir de dichos análisis, se pueden tomar medidas para reducir la probabilidad de que se produzcan errores dentro de un sistema y, por lo tanto, conducir a una mejora en los niveles generales de seguridad. Existen tres razones principales para realizar una HRA; identificación de errores, cuantificación de errores y reducción de errores. Como existen varias técnicas que se utilizan para tales fines, se pueden dividir en una de dos clasificaciones; técnicas de primera generación y técnicas de segunda generación. Las técnicas de primera generación funcionan sobre la base de la simple dicotomía de 'encaja / no encaja' en la correspondencia de la situación de error en contexto con la identificación y cuantificación de errores relacionados y las técnicas de segunda generación se basan más en la teoría en su evaluación y cuantificación de errores . 'Las técnicas de HRA se han utilizado en una variedad de industrias que incluyensector salud , ingeniería , nuclear, transporte y empresarial; cada técnica tiene diferentes usos dentro de diferentes disciplinas.
El juicio de probabilidad absoluta, que también se conoce como estimación numérica directa , [1] se basa en la cuantificación de las probabilidades de error humano (HEP). Se basa en la premisa de que las personas no pueden recordar o no pueden estimar con certeza la probabilidad de que ocurra un evento determinado. El juicio de expertos suele ser deseable para su utilización en la técnica cuando hay pocos o ningún dato con el que calcular los HEP, o cuando los datos no son adecuados o son difíciles de entender. En teoría, el conocimiento cualitativo construido a través de la experiencia de los expertos puede traducirse en datos cuantitativos como los HEP.
Se requiere de los expertos un buen nivel tanto de experiencia sustantiva (es decir, el experto debe tener un nivel adecuado de conocimiento del dominio del problema) como de experiencia normativa (es decir, debe ser posible para el experto, tal vez con la ayuda de un facilitador , traducir este conocimiento explícitamente en probabilidades). Si los expertos poseen el conocimiento sustantivo requerido pero carecen de un conocimiento que sea de naturaleza normativa, los expertos pueden ser capacitados o asistidos para asegurar que el conocimiento y la experiencia que requieren ser capturados se traduzcan en las probabilidades correctas, es decir, para asegurar que sea una representación precisa de los juicios de los peritos.
Fondo
El juicio de probabilidad absoluta es un enfoque basado en el juicio de expertos que implica el uso de las creencias de los expertos (por ejemplo, personal de primera línea, ingenieros de procesos, etc.) para estimar los HEP. Hay dos formas principales de la técnica; Métodos grupales y métodos de un solo experto, es decir, se puede realizar en grupo o como ejercicio individual. Los métodos grupales tienden a ser los más populares y ampliamente utilizados, ya que son más sólidos y están menos sujetos a sesgos . Además, dentro del contexto de uso, es inusual que un solo individuo posea toda la información y la experiencia necesarias para poder estimar únicamente, de manera precisa, la confiabilidad humana en cuestión. En el enfoque grupal, el resultado de agregar conocimientos y opiniones individuales es más confiable.
Metodologías
Hay 4 métodos de grupos principales mediante los cuales se puede realizar un juicio de probabilidad absoluta.
Método individual agregado
Al utilizar este método, los expertos hacen sus estimaciones individualmente sin reunirse ni discutir la tarea. Luego, las estimaciones se agregan tomando la media geométrica de las estimaciones de los expertos individuales para cada tarea. El mayor inconveniente de este método es que no hay experiencia compartida a través del grupo; sin embargo, un aspecto positivo de esto es que debido a la individualidad del proceso, se evita cualquier conflicto como personalidades dominantes o personalidades en conflicto y, por lo tanto, los resultados están libres de cualquier sesgo.
Método Delphi
Desarrollado por Dalkey, [2] [3] el método Delphi es muy similar al método individual agregado en que los expertos hacen sus estimaciones iniciales de forma aislada. Sin embargo, después de esta etapa, a los expertos se les muestra el resultado al que han llegado todos los demás participantes y luego pueden volver a considerar las estimaciones que hicieron inicialmente. Luego, las reestimaciones se agregan utilizando la media geométrica . Esto permite compartir algo de información , al tiempo que evita la mayoría de los sesgos dirigidos por el grupo; sin embargo, sigue existiendo el problema de la falta de discusión.
Técnica de grupo nominal (NGT)
Esta técnica toma el método Delphi e introduce una discusión / consulta limitada entre los expertos. De esta manera, el intercambio de información es superior y la dominación del grupo se mitiga haciendo que los expertos lleguen por separado a sus propias conclusiones antes de agregar los puntajes HEP.
Método de grupo de consenso
Este es el enfoque más centrado en el grupo y requiere que el grupo llegue a un consenso sobre las estimaciones de HEP a través de la discusión y el acuerdo mutuo. Este método maximiza el intercambio de conocimientos y el intercambio de ideas y también promueve la igualdad de oportunidades para participar en la discusión. Sin embargo, la coordinación también puede resultar complicada desde el punto de vista logístico, ya que requiere que todos los expertos estén juntos en el mismo lugar para que se lleve a cabo la discusión. Debido a este tecnicismo, las personalidades y otros mecanismos de sesgo como el exceso de confianza, la disponibilidad reciente y el anclaje pueden convertirse en un factor, aumentando así la posibilidad de que los resultados estén sesgados. Si surge la circunstancia en la que hay un punto muerto o una ruptura en la dinámica de grupo , entonces es necesario volver a uno de los otros métodos de juicio de probabilidad absoluta de grupo.
Procedimiento
1. Seleccionar expertos en la materia
Los expertos elegidos deben tener un buen conocimiento práctico de las tareas que deben evaluarse. El número correcto de expertos depende de lo que parezca más factible, al tiempo que se tienen en cuenta las limitaciones, como la disponibilidad espacial y financiera. Sin embargo, cuanto más grande sea el grupo, es más probable que surjan problemas.
2. Preparar el enunciado de la tarea
Las declaraciones de tareas son un componente necesario del método; las tareas se especifican en detalle. Cuanto más completa sea la explicación de la tarea dentro del enunciado, menos probable será que los expertos recurran a hacer conjeturas individuales sobre las tareas. La declaración también debe garantizar que todas las suposiciones se establezcan claramente en un formato interpretable para que todos los expertos las comprendan. El nivel óptimo de detalle se regirá por la naturaleza de la tarea en consideración y el uso requerido de la estimación HEP final.
3. Prepare el folleto de respuestas Estos folletos detallan el enunciado de la tarea y el diseño de la escala que se utilizará para evaluar la probabilidad de error y mediante la cual los expertos pueden indicar sus juicios. [1] La escala debe ser una que permita que las diferencias se hagan evidentes. El folleto también incluye instrucciones, suposiciones y elementos de muestra.
4. Desarrollar instrucciones para los sujetos.
Se requieren instrucciones para especificar a los expertos las razones de la sesión; de lo contrario, pueden adivinar las razones que pueden causar sesgos en las estimaciones resultantes de la confiabilidad humana .
5. Obtener juicios
Se requiere que los expertos revelen sus juicios sobre cada una de las tareas; esto se puede hacer en grupo o individualmente. Si se hace por los primeros medios, a menudo se utiliza un facilitador para prevenir cualquier sesgo y ayudar a superar cualquier problema.
6. Calcular la coherencia entre jueces
Este es un método mediante el cual se pueden comparar las diferencias en las estimaciones de HEP de expertos individuales; se utiliza una formulación estadística para tales fines.
7. Estimaciones individuales agregadas
Cuando no se utilizan métodos de consenso grupal, es necesario calcular un agregado para cada una de las estimaciones individuales para cada HEP.
8. Estimación del límite de incertidumbre Calculado utilizando enfoques estadísticos que incluyen rangos de confianza.
Ejemplo resuelto
Contexto
En este ejemplo, Eurocontrol utilizó el juicio de probabilidad absoluta , en el centro experimental de Brétigny-sur-Orge París , utilizando una metodología de consenso de grupo.
Entradas requeridas
Cada uno de los grados del personal incluido en la sesión se turnó para proporcionar estimaciones de las probabilidades de error, incluido el personal de tierra, los pilotos y los controladores. Antes del comienzo de la sesión, se realizó un ejercicio introductorio para permitir que los participantes se sintieran más cómodos con el uso de la técnica; esto implicó una explicación de los antecedentes del método y proporcionó una descripción general de lo que implicaría la sesión. Para aumentar la familiaridad con el método, se utilizaron plantillas ejemplares para mostrar cómo se estiman los errores.
Método
- Los enunciados de tareas iniciales del proyecto se crearon dejando espacio para la opinión individual de las estimaciones de tareas y suposiciones adicionales que el grupo puede haber renunciado colectivamente.
- Se llevó a cabo una sesión en la que se detallaron con precisión los escenarios y tareas individuales a los expertos
- Los expertos, con este conocimiento, pudieron ingresar estimaciones individuales para todas las tareas en consideración.
- Siguió una discusión en la que todos los participantes tuvieron la oportunidad de expresar su opinión al resto del grupo.
- Luego se utilizó la facilitación para llegar a un consenso grupal sobre los valores estimados. Se llevaron a cabo más discusiones y enmiendas cuando fue necesario.
Durante la duración de la sesión se reveló que la facilidad con la que los expertos pudieron llegar a un consenso fue baja con respecto a las diferentes estimaciones de los distintos valores de HEP. Las discusiones a menudo cambiaron el pensamiento de las personas, por ejemplo, a la luz de nueva información o interpretaciones, pero esto no facilitó llegar a un acuerdo. Debido a esta dificultad, fue necesario agregar las estimaciones individuales para calcular una media geométrica de estas. La siguiente tabla muestra una muestra de los resultados obtenidos.
Tabla: Sesión piloto de juicio de probabilidad absoluta: extracto de resultados
Error potencial (código en modelo de riesgo) | Máximo | Mínimo | Distancia | Significado geometrico |
---|---|---|---|---|
C1a | 1.1E-03 | 2.0E-05 | 55 | 2.1E-04 |
C1b | 2.5E-04 | 1.0E-05 | 25 | 3.5E-05 |
D1 | 1.0E-03 | 1.0E-04 | 10 | 4.3E-04 |
F1a | 4.0E-04 | 1.0E-05 | 40 | 6.9E-05 |
F1b | 1.0E-03 | 1.0E-04 | 10 | 4.0E-04 |
F1c | 1.0E-03 | 1.0E-04 | 10 | 4.6E-04 |
En varios casos, el rango de cifras que separan los valores máximo y mínimo resultó ser demasiado grande para permitir aceptar con confianza un valor agregado. Estos valores son los eventos en el modelo de riesgo que requieren ser cuantificados. Hay 3 errores principales en el modelo que pueden ocurrir:
- C1: captura de información falsa sobre la ruta de aproximación final
- D1: No mantener el aire acondicionado en la trayectoria de aproximación final
- F1: Selección de pista incorrecta
Hubo varias razones que pueden explicar las razones por las que hubo una diferencia tan grande en las estimaciones proporcionadas por el grupo: el grupo de expertos era muy diverso y la experiencia de los individuos difería. La experiencia con el sistema de aumento basado en tierra (GBAS) también mostró diferencias. Este proceso fue una experiencia nueva para todos los expertos que participaron en el proceso y solo hubo un día, en el que se estaba desarrollando la sesión, para familiarizarse con su uso y utilizarlo correctamente. Lo más significativo fue el hecho de que el detalle de las evaluaciones era muy fino, a lo que el personal no estaba acostumbrado. Los expertos también se sintieron confundidos sobre la forma en que se llevó a cabo la evaluación; los errores no se consideraron por sí solos y se analizaron como grupo. Esto significaba que los valores estimados representaban una contribución del error en una falla del sistema en contraposición a una única contribución a la falla del sistema.
Resultados / desenlaces
- Los controladores y pilotos proporcionaron buenas estimaciones de los errores y estos se han utilizado en algunos casos de seguridad.
- Los participantes destacaron su comprensión de la importancia de su participación en el proceso para proporcionar experiencia, en lugar de utilizar analistas de seguridad externos en su lugar, es decir, comprendieron su papel en la realización de una Evaluación de la confiabilidad humana del sistema.
- Se proporcionó a los expertos una representación realista del desempeño humano dentro del sistema y, por lo tanto, se requieren más requisitos de seguridad para mejorar la seguridad y reducir la probabilidad de los errores identificados. Esto es particularmente beneficioso; para el futuro GBAS.
Lecciones del estudio
- Se requiere tiempo para familiarizarse con la metodología y comprender lo que se necesita hacer en el contexto dado.
- Se requiere que los expertos comprendan las circunstancias en las que los HEP están condicionados
- Es necesario incluir verdaderos expertos en el proceso y en un número significativo para permitir la recopilación de la información necesaria.
- El uso de información existente en el proceso siempre es útil para propósitos de estandarización.
Ventajas
- El método es relativamente rápido y sencillo de utilizar. Con un mayor grado de discusión grupal en el uso de la técnica, se producen más datos cualitativos; esto puede considerarse como un subproducto útil de la evaluación. [1]
- El juicio de probabilidad absoluta no está restringido ni especializado para su uso en un campo en particular; es fácilmente aplicable a una HRA en cualquier sector industrial, lo que la convierte en una técnica genérica para su uso en una amplia gama de aplicaciones potenciales. [5]
- Pueden surgir sugerencias útiles del debate sobre las formas en que se puede lograr una reducción de los errores [4]
Desventajas
- El juicio de probabilidad absoluta es propenso a ciertos sesgos y conflictos o problemas grupales. La selección de la metodología de grupo correcta o la facilitación de grupo de alta calidad puede disminuir el efecto de estos sesgos y aumentar la validez de los resultados. [1]
- Encontrar expertos adecuados para el ejercicio de juicio de probabilidad absoluta es una etapa difícil del proceso, más aún debido a la ambigüedad con la que se puede definir el término 'experto' [5]
- Debido a que puede haber poco o ningún razonamiento empírico y / o cuantitativo que sustente las estimaciones de los expertos, es difícil estar seguro de la validez de los HEP finales, es decir, no hay forma de validar las suposiciones [1]
Referencias
- ^ a b c d e Humphreys, P., (1995) Guía del evaluador de confiabilidad humana. Grupo de Factores Humanos en la Confiabilidad.
- ^ Dalkey, N. y Helmer, O. (1963) Una aplicación experimental del método Delphi al uso de expertos. Ciencias de la gestión. 9 (3) 458-467.
- ^ Linstone, HA & Turoff, M. (1978) El método Delphi: Técnicas y aplicaciones. Addison-Wesley, Londres.
- ^ Kirwan, Guía práctica para la evaluación de la confiabilidad humana, CPC Press, 1994
- ^ 2004. Centro Experimental de Eurocontrol; Revisión de técnicas para respaldar la metodología de evaluación de seguridad EATMP. EuroControl, vol. 1