La verificación y validación de los modelos de simulación por computadora se lleva a cabo durante el desarrollo de un modelo de simulación con el objetivo final de producir un modelo preciso y creíble. [1] [2] "Los modelos de simulación se utilizan cada vez más para resolver problemas y ayudar en la toma de decisiones. Los desarrolladores y usuarios de estos modelos, los tomadores de decisiones que utilizan la información obtenida de los resultados de estos modelos y las personas afectadas por las decisiones basadas en esos modelos se refieren, con razón, a si un modelo y sus resultados son "correctos". [3] Esta preocupación se aborda mediante la verificación y validación del modelo de simulación. [4]
Los modelos de simulación son imitaciones aproximadas de sistemas del mundo real y nunca imitan exactamente el sistema del mundo real. Debido a eso, un modelo debe ser verificado y validado en el grado necesario para el propósito o aplicación prevista del modelo. [3]
La verificación y validación de un modelo de simulación comienza después de que se hayan documentado las especificaciones funcionales y se haya completado el desarrollo inicial del modelo. [5] La verificación y validación es un proceso iterativo que tiene lugar durante el desarrollo de un modelo. [1] [5]
Verificación
En el contexto de la simulación por computadora, la verificación de un modelo es el proceso de confirmar que está correctamente implementado con respecto al modelo conceptual (coincide con especificaciones y supuestos considerados aceptables para el propósito de aplicación dado). [1] [5] Durante la verificación, el modelo se prueba para encontrar y corregir errores en la implementación del modelo. [5] Se utilizan varios procesos y técnicas para asegurar que el modelo coincida con las especificaciones y supuestos con respecto al concepto del modelo. El objetivo de la verificación del modelo es garantizar que la implementación del modelo sea correcta.
Hay muchas técnicas que se pueden utilizar para verificar un modelo. Estos incluyen, entre otros, hacer que un experto verifique el modelo, hacer diagramas de flujo lógicos que incluyan cada acción lógicamente posible, examinar la salida del modelo para determinar su razonabilidad en una variedad de configuraciones de los parámetros de entrada y usar un depurador interactivo. [1] Muchas técnicas de ingeniería de software utilizadas para la verificación de software son aplicables a la verificación del modelo de simulación. [1]
Validación
La validación comprueba la precisión de la representación del modelo del sistema real. La validación del modelo se define como "prueba de que un modelo computarizado dentro de su dominio de aplicabilidad posee un rango satisfactorio de precisión consistente con la aplicación prevista del modelo". [3] Un modelo debe construirse para un propósito específico o un conjunto de objetivos y su validez debe determinarse para ese propósito. [3]
Hay muchos enfoques que se pueden utilizar para validar un modelo de computadora. Los enfoques van desde revisiones subjetivas hasta pruebas estadísticas objetivas. Un enfoque que se usa comúnmente es hacer que los constructores de modelos determinen la validez del modelo a través de una serie de pruebas. [3]
Naylor y Finger [1967] formularon un enfoque de tres pasos para la validación del modelo que ha sido ampliamente seguido: [1]
Paso 1. Construya un modelo que tenga una alta validez aparente.
Paso 2. Validar los supuestos del modelo.
Paso 3. Compare las transformaciones de entrada-salida del modelo con las correspondientes transformaciones de entrada-salida para el sistema real. [6]
Validez aparente
Un modelo que tiene validez aparente parece ser una imitación razonable de un sistema del mundo real para las personas que conocen el sistema del mundo real. [5] La validez aparente se prueba haciendo que los usuarios y las personas conocedoras del sistema examinen la salida del modelo para determinar su razonabilidad y, en el proceso, identifiquen las deficiencias. [1] Una ventaja adicional de tener a los usuarios involucrados en la validación es que aumenta la credibilidad del modelo para los usuarios y la confianza del usuario en el modelo. [1] [5] La sensibilidad a las entradas del modelo también se puede utilizar para juzgar la validez aparente. [1] Por ejemplo, si una simulación de un restaurante de comida rápida se ejecuta dos veces con tasas de llegada de clientes de 20 por hora y 40 por hora, se espera que aumenten los resultados del modelo, como el tiempo de espera promedio o el número máximo de clientes en espera. con la tasa de llegada.
Validación de los supuestos del modelo
Los supuestos hechos sobre un modelo generalmente se dividen en dos categorías: supuestos estructurales sobre cómo funciona el sistema y supuestos de datos. También podemos considerar los supuestos de simplificación que son los que usamos para simplificar la realidad. [7]
Supuestos estructurales
Las suposiciones sobre cómo funciona el sistema y cómo está organizado físicamente son suposiciones estructurales. Por ejemplo, la cantidad de servidores en un carril de comida rápida y si hay más de uno, ¿cómo se utilizan? ¿Los servidores funcionan en paralelo cuando un cliente completa una transacción visitando un solo servidor o un servidor toma pedidos y maneja el pago mientras el otro prepara y sirve el pedido? Muchos problemas estructurales en el modelo provienen de supuestos deficientes o incorrectos. [5] Si es posible, se debe observar de cerca el funcionamiento del sistema real para comprender cómo funciona. [5] La estructura y el funcionamiento de los sistemas también deben verificarse con los usuarios del sistema real. [1]
Supuestos de datos
Debe haber una cantidad suficiente de datos apropiados disponibles para construir un modelo conceptual y validar un modelo. La falta de datos adecuados suele ser la razón por la que fallan los intentos de validar un modelo. [3] Se debe verificar que los datos provengan de una fuente confiable. Un error típico es asumir una distribución estadística inapropiada de los datos. [1] El modelo estadístico asumido debe probarse utilizando pruebas de bondad de ajuste y otras técnicas. [1] [3] Ejemplos de pruebas de bondad de ajuste son la prueba de Kolmogorov-Smirnov y la prueba de chi-cuadrado . Se debe verificar cualquier valor atípico en los datos. [3]
Supuestos de simplificación
Son aquellos supuestos que sabemos que no son ciertos, pero que son necesarios para simplificar el problema que queremos resolver. [7] El uso de estos supuestos debe restringirse para asegurar que el modelo sea lo suficientemente correcto como para servir como respuesta al problema que queremos resolver.
Validación de transformaciones de entrada-salida
El modelo se considera una transformación de entrada-salida para estas pruebas. La prueba de validación consiste en comparar las salidas del sistema en consideración con las salidas del modelo para el mismo conjunto de condiciones de entrada. Los datos registrados mientras se observa el sistema deben estar disponibles para realizar esta prueba. [3] El resultado del modelo que es de interés principal debe utilizarse como medida de rendimiento. [1] Por ejemplo, si el sistema que se está considerando es un servicio de comida rápida en el que la entrada al modelo es la hora de llegada del cliente y la medida de rendimiento del rendimiento es el tiempo promedio del cliente en la fila, entonces la hora de llegada real y el tiempo pasado en la fila para los clientes en se grabaría el recorrido. El modelo se ejecutaría con los tiempos de llegada reales y el tiempo promedio del modelo en línea se compararía con el tiempo promedio real pasado en línea utilizando una o más pruebas.
Evaluación de la hipótesis
Las pruebas de hipótesis estadísticas que utilizan la prueba t se pueden utilizar como base para aceptar el modelo como válido o rechazarlo como no válido.
La hipótesis a probar es
- H 0 la medida de desempeño del modelo = la medida de desempeño del sistema
versus
- H 1 la medida de desempeño del modelo ≠ la medida de desempeño del sistema.
La prueba se realiza para un tamaño de muestra y un nivel de significancia determinados o α. Para realizar la prueba, se realizan un número n ejecuciones estadísticamente independientes del modelo y se produce un valor promedio o esperado, E (Y), para la variable de interés. Luego, se calcula el estadístico de prueba, t 0 para el α, n , E (Y) dado y el valor observado para el sistema μ 0
- y el valor crítico para α y n-1 los grados de libertad
- es calculado.
Si
rechazar H 0 , el modelo necesita ajuste.
Hay dos tipos de error que pueden ocurrir usando la prueba de hipótesis, rechazando un modelo válido llamado error tipo I o "riesgo del constructor de modelos" y aceptando un modelo no válido llamado error tipo II, β o "riesgo del usuario del modelo". [3] El nivel de significancia o α es igual a la probabilidad de error de tipo I. [3] Si α es pequeño, rechazar la hipótesis nula es una conclusión sólida. [1] Por ejemplo, si α = 0.05 y se rechaza la hipótesis nula, solo hay una probabilidad de 0.05 de rechazar un modelo que sea válido. Disminuir la probabilidad de un error de tipo II es muy importante. [1] [3] La probabilidad de detectar correctamente un modelo no válido es 1 - β. La probabilidad de un error de tipo II depende del tamaño de la muestra y de la diferencia real entre el valor de la muestra y el valor observado. El aumento del tamaño de la muestra reduce el riesgo de un error de tipo II.
Precisión del modelo como rango
Recientemente se ha desarrollado una técnica estadística en la que la precisión del modelo se especifica como un rango. La técnica utiliza pruebas de hipótesis para aceptar un modelo si la diferencia entre la variable de interés de un modelo y la variable de interés de un sistema está dentro de un rango de precisión especificado. [8] Un requisito es que tanto los datos del sistema como los datos del modelo sean aproximadamente normalmente independientes e idénticamente distribuidos (NIID) . En esta técnica se utiliza el estadístico de la prueba t . Si la media del modelo es μ my la media del sistema es μ s, entonces la diferencia entre el modelo y el sistema es D = μ m - μ s . La hipótesis a probar es si D está dentro del rango aceptable de precisión. Sea L = el límite inferior de precisión y U = límite superior de precisión. Luego
- H 0 L ≤ D ≤ U
versus
- H 1 D
U
va a ser probado.
La curva característica operativa (OC) es la probabilidad de que se acepte la hipótesis nula cuando es cierta. La curva OC caracteriza las probabilidades de errores de tipo I y II. Las curvas de riesgo para el riesgo del constructor del modelo y el usuario del modelo se pueden desarrollar a partir de las curvas OC. La comparación de curvas con compensaciones de tamaño de muestra fijo entre el riesgo del constructor del modelo y el riesgo del usuario del modelo se puede ver fácilmente en las curvas de riesgo. [8] Si se especifican el riesgo del constructor del modelo, el riesgo del usuario del modelo y los límites superior e inferior para el rango de precisión, entonces se puede calcular el tamaño de muestra necesario. [8]
Intervalos de confianza
Los intervalos de confianza se pueden utilizar para evaluar si un modelo está "lo suficientemente cerca" [1] de un sistema para alguna variable de interés. La diferencia entre el valor del modelo conocido, μ 0 , y el valor del sistema, μ, se verifica para ver si es menor que un valor lo suficientemente pequeño como para que el modelo sea válido con respecto a esa variable de interés. El valor se indica con el símbolo ε. Para realizar la prueba se realizan un número, n , ejecuciones estadísticamente independientes del modelo y se produce un valor medio o esperado, E (Y) o μ para la variable de salida de simulación de interés Y, con una desviación estándar S. Se selecciona un nivel de confianza, 100 (1-α). Un intervalo, [a, b], se construye mediante
- ,
dónde
es el valor crítico de la distribución t para el nivel de significancia dado y n-1 grados de libertad.
- Si | a-μ 0 | > ε y | b-μ 0 | > ε entonces el modelo necesita ser calibrado ya que en ambos casos la diferencia es mayor de lo aceptable.
- Si | a-μ 0 | <ε y | b-μ 0 | <ε entonces el modelo es aceptable ya que en ambos casos el error es lo suficientemente cercano.
- Si | a-μ 0 | <ε y | b-μ 0 | > ε o viceversa , se necesitan ejecuciones adicionales del modelo para reducir el intervalo.
Comparaciones gráficas
Si no se pueden satisfacer los supuestos estadísticos o no hay datos suficientes para el sistema, se pueden utilizar comparaciones gráficas de los resultados del modelo con los resultados del sistema para tomar decisiones subjetivas, sin embargo, son preferibles otras pruebas objetivas. [3]
Estándares ASME
El Comité de Verificación y Validación (V&V) de la Sociedad Estadounidense de Ingenieros Mecánicos (ASME) desarrolla documentos y estándares que involucran verificación y validación de modelado y simulación computacional . ASME V&V 10 proporciona una guía para evaluar y aumentar la credibilidad de los modelos de mecánica sólida computacional a través de los procesos de verificación, validación y cuantificación de la incertidumbre. [9] ASME V&V 10.1 proporciona un ejemplo detallado para ilustrar los conceptos descritos en ASME V&V 10. [10] ASME V&V 20 proporciona una metodología detallada para validar simulaciones computacionales aplicadas a la dinámica de fluidos y la transferencia de calor. [11] ASME V&V 40 proporciona un marco para establecer los requisitos de credibilidad del modelo para el modelado computacional y presenta ejemplos específicos en la industria de dispositivos médicos. [12]
Ver también
- Verificación y validación
- Verificación y validación de software
Referencias
- ^ a b c d e f g h i j k l m n o p Banks, Jerry; Carson, John S .; Nelson, Barry L .; Nicol, David M. Discrete-Event System Simulation Quinta edición, Upper Saddle River, Pearson Education, Inc. 2010 ISBN 0136062121
- ^ Schlesinger, S .; et al. (1979). "Terminología para la credibilidad del modelo". Simulación . 32 (3): 103-104. doi : 10.1177 / 003754977903200304 .
- ^ a b c d e f g h i j k l m Sargent, Robert G. "VERIFICACIÓN Y VALIDACIÓN DE MODELOS DE SIMULACIÓN" . Actas de la Conferencia de simulación de invierno de 2011.
- ^ Hemakumara et al; https://www.researchgate.net/profile/Gpts_Hemakumara/publication/339540267_Field_Verifications_of_the_Arc_GIS_Based_Automation_Landform_Model_Including_the_Recommendations_to_Enhance_the_Automation_System_with_Ground_Reality/links/5e580b9092851cefa1c9dcd3/Field-Verifications-of-the-Arc-GIS-Based-Automation-Landform-Model-Including-the-Recommendations-to- Mejora-del-sistema-de-automatización-con-Ground-Reality.pdf
- ^ a b c d e f g h Carson, John, "VERIFICACIÓN Y VALIDACIÓN DEL MODELO" . Actas de la Conferencia de simulación de invierno de 2002.
- ^ NAYLOR, TH Y JM FINGER [1967], "Verificación de modelos de simulación por computadora" , Ciencias de la administración, vol. 2, págs. B92– B101., Citado en Banks, Jerry; Carson, John S .; Nelson, Barry L .; Nicol, David M. Simulación de sistema de eventos discretos Quinta edición, Upper Saddle River, Pearson Education, Inc. 2010 p. 396. ISBN 0136062121
- ^ a b 1. Fonseca, P. Hipótesis de simulación. En Actas de SIMUL 2011; 2011; págs. 114-119. https://www.researchgate.net/publication/262187532_Simulation_hypotheses_A_proposed_taxonomy_for_the_hypotheses_used_in_a_simulation_model
- ^ a b c Sargent, RG 2010. "Un nuevo procedimiento estadístico para la validación de modelos estocásticos y de simulación". Informe técnico SYR-EECS-2010-06, Departamento de Ingeniería Eléctrica y Ciencias de la Computación, Universidad de Syracuse, Syracuse, Nueva York.
- ^ “Guía de V&V 10-2006 para la verificación y validación en mecánica sólida computacional” . Estándares . COMO YO. Consultado el 2 de septiembre de 2018.
- ^ "V&V 10.1 - 2012 una ilustración de los conceptos de verificación y validación en mecánica sólida computacional" . Estándares . COMO YO. Consultado el 2 de septiembre de 2018.
- ^ "V&V 20-2009 estándar para verificación y validación en dinámica de fluidos computacional y transferencia de calor" . Estándares . COMO YO. Consultado el 2 de septiembre de 2018.
- ^ “Día de la industria de V&V 40” . Simposio de Verificación y Validación . COMO YO. Consultado el 2 de septiembre de 2018.