Backtesting es un término utilizado en el modelado para referirse a probar un modelo predictivo en datos históricos. El backtesting es un tipo de retrodicción y un tipo especial de validación cruzada aplicada a períodos de tiempo anteriores.
Análisis financiero
En una estrategia comercial, una estrategia de inversión o un modelo de riesgo, el backtesting busca estimar el desempeño de una estrategia o modelo si se hubiera empleado durante un período anterior. Esto requiere simular condiciones pasadas con suficiente detalle, lo que hace que una limitación del backtesting sea la necesidad de datos históricos detallados. Una segunda limitación es la incapacidad de modelar estrategias que afectarían los precios históricos. Finalmente, el backtesting, al igual que otros modelos, está limitado por un posible sobreajuste . Es decir, a menudo es posible encontrar una estrategia que hubiera funcionado bien en el pasado, pero que no funcionará bien en el futuro. [1] A pesar de estas limitaciones, el backtesting proporciona información que no está disponible cuando los modelos y estrategias se prueban con datos sintéticos.
Históricamente, el backtesting solo ha sido realizado por grandes instituciones y administradores de dinero profesionales debido al costo de obtener y usar conjuntos de datos detallados. Sin embargo, el backtrading se utiliza cada vez más de forma más amplia, y han surgido plataformas independientes de backtesting basadas en la web. Aunque la técnica se usa ampliamente, es propensa a debilidades. [2] Las regulaciones financieras de Basilea requieren que las grandes instituciones financieras realicen backtesting de ciertos modelos de riesgo.
Para un valor en riesgo de 1 día al 99% probado 250 días seguidos, la prueba se considera verde (0-95%), naranja (95-99,99%) o roja (99,99-100%) según la siguiente tabla : [3]
Zona | Excepciones numéricas | Probabilidad | Cumul |
---|---|---|---|
Verde | 0 | 8,11% | 8,11% |
1 | 20,47% | 28,58% | |
2 | 25,74% | 54,32% | |
3 | 21,49% | 75,81% | |
4 | 13,41% | 89,22% | |
naranja | 5 | 6,66% | 95,88% |
6 | 2,75% | 98,63% | |
7 | 0,97% | 99,60% | |
8 | 0,30% | 99,89% | |
9 | 0,08% | 99,97% | |
rojo | 10 | 0,02% | 99,99% |
11 | 0,00% | 100,00% | |
... | ... | ... |
Para un valor en riesgo de 10 días al 99% probado 250 días seguidos, la prueba se considera verde (0-95%), naranja (95-99,99%) o roja (99,99-100%) según la siguiente tabla :
Zona | Excepciones numéricas | Probabilidad | Cumul |
---|---|---|---|
Verde | 0 | 36,02% | 36,02% |
1 | 15,99% | 52,01% | |
2 | 11,58% | 63,59% | |
3 | 8,90% | 72,49% | |
4 | 6,96% | 79,44% | |
5 | 5,33% | 84,78% | |
6 | 4,07% | 88,85% | |
7 | 3,05% | 79,44% | |
8 | 2,28% | 94,17% | |
naranja | 9 | 1,74% | 95,91% |
... | ... | ... | |
24 | 0,01% | 99,99% | |
rojo | 25 | 0,00% | 99,99% |
... | ... | ... |
Hindcast
En oceanografía [5] y meteorología , [6] el backtesting también se conoce como hindcasting : un hindcast es una forma de probar un modelo matemático ; los investigadores ingresan en el modelo entradas conocidas o estimadas de cerca para eventos pasados para ver qué tan bien la salida coincide con los resultados conocidos.
La predicción posterior generalmente se refiere a la integración de un modelo numérico de un período histórico en el que no se han asimilado observaciones . Esto distingue una ejecución retrospectiva de un reanálisis . Las observaciones oceanográficas de la salinidad y la temperatura , así como las observaciones de los parámetros de las olas superficiales , como la altura significativa de las olas, son mucho más escasas que las observaciones meteorológicas, lo que hace que la predicción retrospectiva sea más común en la oceanografía que en la meteorología. Además, dado que las ondas superficiales representan un sistema forzado en el que el viento es la única fuerza generadora, el pronóstico de las ondas se considera a menudo adecuado para generar una representación razonable del clima de las olas con poca necesidad de un nuevo análisis completo. Los hidrólogos utilizan la predicción retrospectiva para los flujos de arroyos modelo. [7]
Un ejemplo de retrospectiva sería introducir forzamientos climáticos (eventos que fuerzan el cambio) en un modelo climático . Si la retrospectiva mostrara una respuesta climática razonablemente precisa, el modelo se consideraría exitoso.
El reanálisis de ECMWF es un ejemplo de un reanálisis atmosférico combinado junto con una integración de modelo de onda donde no se asimilaron parámetros de onda, lo que hace que la parte de onda sea una ejecución retrospectiva.
Resultados no deseados de la aplicación
En 2003, Dake Chen y sus colegas "entrenaron" inicialmente una computadora , utilizando los datos de la temperatura de la superficie de los océanos de los últimos 20 años. [8]
Luego, habiendo "entrenado" la computadora, realizaron un ejercicio de predicción retrospectiva utilizando datos que habían sido recolectados sobre la temperatura de la superficie de los océanos durante el período de 1857 a 2003. No solo encontraron que su simulación predijo con precisión cada evento de El Niño para el durante los últimos 148 años, pero también descubrieron, como una " consecuencia no intencionada " de ese ejercicio, que su simulación también identificó el presagio inminente (hasta 2 años) de cada uno de esos eventos de El Niño . [9]
Ver también
Referencias
- ^ BacktestBroker. "¿Realmente funciona el backtesting?" .
- ^ FinancialTrading (27 de abril de 2013). "Problemas relacionados con las pruebas posteriores" .
- ^ "Marco de supervisión para el uso de" backtesting "junto con el enfoque de modelos internos para los requisitos de capital de riesgo de mercado" (PDF) . Comité de Basilea de Supervisión Bancaria. Enero de 1996. p. 14.
- ^ Tomado de la p.145 de Yeates, LB, Thought Experimentation: A Cognitive Approach , Disertación del Diploma de Posgrado en Artes (por Investigación), Universidad de Nueva Gales del Sur, 2004.
- ^ "Enfoque Hindcast" . OceanWeather Inc . Consultado el 22 de enero de 2013 .
- ^ Huijnen, V .; J. Flemming; JW Kaiser; A. Inness; J. Leitão; A. Heil; HJ Eskes; MG Schultz; A. Benedetti; J. Hadji-Lazaro; G. Dufour; M. Eremenko (2012). "Experimentos Hindcast de composición troposférica durante los incendios de verano de 2010 sobre Rusia occidental" . Atmos. Chem. Phys . 12 (9): 4341–4364. Código bibliográfico : 2012ACP .... 12.4341H . doi : 10.5194 / acp-12-4341-2012 . Consultado el 22 de enero de 2013 .
- ^ "Orientación sobre la realización de transmisión de flujo inverso en CHPS" (PDF) . NOAA . Consultado el 22 de enero de 2013 .
- ^ Chen, D., Cane, MA, Kaplan, A., Zebiak, SE & Huang, D., "Previsibilidad de El Niño durante los últimos 148 años", Nature , Vol.428, No.6984, (15 de abril de 2004 ), págs. 733-736; Anderson, D., "Testing Time for El Niño", Nature , Vol.428, No.6984, (15 de abril de 2004), págs. 709, 711.
- ^ No solo la predicción retrospectiva demostró que los modelos de simulación computarizados podían predecir el inicio de eventos climáticos de El Niño a partir de cambios en la temperatura de la superficie del océano que ocurrieron hasta dos años antes, lo que significa que ahora, potencialmente, había al menos 2 años 'plazo de entrega - pero los resultados también implicaron que los eventos de El Niño parecían ser los efectos de cierta regularidad causal; y, por lo tanto, no se debieron a la simple casualidad, ni a algún otro evento "caótico".