El filtro de conjunto de Kalman ( EnKF ) es un filtro recursivo adecuado para problemas con un gran número de variables, como discretizaciones de ecuaciones diferenciales parciales en modelos geofísicos. El EnKF se originó como una versión del filtro de Kalman para problemas grandes (esencialmente, la matriz de covarianza se reemplaza por la covarianza de la muestra ), y ahora es un componente importante de asimilación de datos de la predicción por conjuntos . EnKF está relacionado con el filtro de partículas(en este contexto, una partícula es lo mismo que un miembro del conjunto) pero EnKF asume que todas las distribuciones de probabilidad involucradas son gaussianas ; cuando es aplicable, es mucho más eficiente que el filtro de partículas .
Introducción
El filtro de conjunto de Kalman (EnKF) es una implementación de Monte Carlo del problema de actualización bayesiano : dada una función de densidad de probabilidad (pdf) del estado del sistema modelado (el anterior , a menudo llamado pronóstico en geociencias) y la probabilidad de datos, Bayes El teorema ' se utiliza para obtener el pdf después de que se ha tenido en cuenta la probabilidad de los datos (el posterior , a menudo llamado análisis). Esto se llama actualización bayesiana. La actualización bayesiana se combina con el avance del modelo en el tiempo, incorporando nuevos datos de vez en cuando. El filtro de Kalman original , introducido en 1960, [1] asume que todos los PDF son gaussianos (el supuesto de Gauss) y proporciona fórmulas algebraicas para el cambio de la media y la matriz de covarianza por la actualización bayesiana, así como una fórmula para avanzar la matriz de covarianza en el tiempo siempre que el sistema sea lineal. Sin embargo, mantener la matriz de covarianza no es factible computacionalmente para sistemas de alta dimensión. Por esta razón, se desarrollaron EnKF. [2] [3] Los EnKF representan la distribución del estado del sistema utilizando una colección de vectores de estado, denominada conjunto , y reemplazan la matriz de covarianza por la covarianza de muestra calculada a partir del conjunto. El conjunto se opera como si fuera una muestra aleatoria , pero los miembros del conjunto no son realmente independientes : el EnKF los une. Una ventaja de los EnKF es que el avance del pdf en el tiempo se logra simplemente avanzando a cada miembro del conjunto. [4]
Derivación
Filtro de Kalman
Repasemos primero el filtro de Kalman . Dejar denotar el vector de estado dimensional de un modelo, y suponga que tiene una distribución de probabilidad gaussiana con media y covarianza , es decir, su pdf es
Aquí y abajo significa proporcional; un pdf siempre se escala para que su integral en todo el espacio sea uno. Esto, llamado anterior , evolucionó con el tiempo mediante la ejecución del modelo y ahora se actualizará para tener en cuenta los nuevos datos. Es natural suponer que se conoce la distribución de errores de los datos; los datos tienen que venir con una estimación de error, de lo contrario no tienen sentido. Aquí, los datos se supone que tiene pdf gaussiano con covarianza y significa , dónde es la llamada matriz de observación . La matriz de covarianzadescribe la estimación del error de los datos; si los errores aleatorios en las entradas del vector de datos son independientes, es diagonal y sus entradas diagonales son los cuadrados de la desviación estándar ("tamaño del error") del error de las entradas correspondientes del vector de datos. El valor es cuál sería el valor de los datos para el estado en ausencia de errores en los datos. Entonces la densidad de probabilidad de los datos condicional del estado del sistema , llamado probabilidad de datos , es
El pdf del estado y la probabilidad de los datos se combinan para dar la nueva densidad de probabilidad del estado del sistema. condicionado al valor de los datos (el posterior ) por el teorema de Bayes ,
Los datos se fija una vez que se recibe, así que denote el estado posterior por en vez de y el pdf posterior de . Puede demostrarse mediante manipulaciones algebraicas [5] que el pdf posterior también es gaussiano,
con la media posterior y covarianza dado por las fórmulas de actualización de Kalman
dónde
es la llamada matriz de ganancia de Kalman .
Filtro de conjunto de Kalman
El EnKF es una aproximación de Monte Carlo del filtro de Kalman, que evita la evolución de la matriz de covarianza del pdf del vector de estado . En cambio, el pdf está representado por un conjunto
es un matriz cuyas columnas son los miembros del conjunto, y se denomina conjunto anterior . Idealmente, los miembros del conjunto formarían una muestra de la distribución anterior. Sin embargo, los miembros del conjunto no son en general independientes excepto en el conjunto inicial, ya que cada paso de EnKF los une. Se considera que son aproximadamente independientes y todos los cálculos proceden como si realmente fueran independientes.
Replica los datos en una matriz
para que cada columna consta del vector de datos más un vector aleatorio del -distribución normal dimensional . Si, además, las columnas deson una muestra de la distribución de probabilidad anterior , entonces las columnas de
Forme una muestra de la distribución de probabilidad posterior . Para ver esto en el caso escalar con: Dejar , y Luego
- .
La primera suma es la media posterior, y la segunda suma, en vista de la independencia, tiene una varianza
- ,
que es la varianza posterior.
El EnKF ahora se obtiene simplemente reemplazando la covarianza de estado en matriz de ganancia de Kalman por la covarianza muestral calculado a partir de los miembros del conjunto (llamado covarianza del conjunto ), [6] es decir:
Implementación
Formulación básica
Aquí te seguimos. [7] [8] Supongamos que la matriz de conjunto y la matriz de datos son como arriba. La media del conjunto y la covarianza son
dónde
y denota la matriz de todos los del tamaño indicado.
El conjunto posterior luego es dado por
donde la matriz de datos perturbados es como arriba.
Tenga en cuenta que desde es una matriz de covarianza, siempre es positiva semidefinida y generalmente positiva definida , por lo que existe la inversa anterior y la fórmula se puede implementar mediante la descomposición de Cholesky . [9] En, [7] [8] se reemplaza por la covarianza de la muestra dónde y el inverso se reemplaza por un pseudoinverso , calculado usando la descomposición de valores singulares (SVD).
Dado que estas fórmulas son operaciones matriciales con operaciones dominantes de Nivel 3 , [10] son adecuadas para una implementación eficiente utilizando paquetes de software como LAPACK (en computadoras de memoria serial y compartida ) y ScaLAPACK (en computadoras de memoria distribuida ). [9] En lugar de calcular la inversa de una matriz y multiplicar por ella, es mucho mejor (varias veces más barato y también más preciso) calcular la descomposición de Cholesky de la matriz y tratar la multiplicación por la inversa como una solución de un sistema lineal. con muchos lados derechos simultáneos. [10]
Implementación sin matriz de observación
Dado que hemos reemplazado la matriz de covarianza con la covarianza de conjunto, esto conduce a una fórmula más simple donde las observaciones de conjunto se utilizan directamente sin especificar explícitamente la matriz. . Más específicamente, defina una función de la forma
La función se llama función de observación o, en el contexto de problemas inversos , operador directo . El valor de es cuál sería el valor de los datos para el estado asumiendo que la medida es exacta. Entonces el conjunto posterior se puede reescribir como
dónde
y
con
En consecuencia, la actualización del conjunto se puede calcular evaluando la función de observación en cada miembro del conjunto una vez y la matriz no necesita ser conocido explícitamente. Esta fórmula también es válida para [9] para una función de observación. con un desplazamiento fijo , que tampoco necesita ser conocido explícitamente. La fórmula anterior se ha utilizado comúnmente para una función de observación no lineal, como la posición de un vórtice de huracán . [11] En ese caso, la función de observación se aproxima esencialmente mediante una función lineal a partir de sus valores en los miembros del conjunto.
Implementación para una gran cantidad de puntos de datos.
Para una gran cantidad de puntos de datos, la multiplicación por se convierte en un cuello de botella. La siguiente fórmula alternativa es ventajosa cuando el número de puntos de datoses grande (como cuando se asimilan datos cuadriculados o de píxeles) y la matriz de covarianza de error de datos es diagonal (que es el caso cuando los errores de datos no están correlacionados) o es barato de descomponer (como en bandas debido a la distancia de covarianza limitada). Usando la fórmula de Sherman-Morrison-Woodbury [12]
con
da
que requiere solo la solución de sistemas con la matriz (se supone que es barato) y de un sistema de tamaño con lados derechos. Consulte [9] para conocer los recuentos de operaciones.
Más ampliaciones
La versión de EnKF descrita aquí implica la aleatorización de datos. Para filtros sin aleatorización de datos, consulte. [13] [14] [15]
Dado que la covarianza del conjunto tiene un rango deficiente (hay muchas más variables de estado, normalmente millones, que los miembros del conjunto, normalmente menos de cien), tiene términos amplios para pares de puntos que están espacialmente distantes. Dado que en realidad los valores de los campos físicos en ubicaciones distantes no están tan correlacionados , la matriz de covarianza se reduce artificialmente en función de la distancia, lo que da lugar a algoritmos EnKF localizados . [16] [17] Estos métodos modifican la matriz de covarianza utilizada en los cálculos y, en consecuencia, el conjunto posterior ya no está compuesto únicamente por combinaciones lineales del conjunto anterior.
Para problemas no lineales, EnKF puede crear un conjunto posterior con estados no físicos. Esto puede aliviarse mediante la regularización , como la penalización de estados con grandes gradientes espaciales . [6]
Para problemas con características coherentes , como huracanes , tormentas eléctricas , líneas de fuego , líneas de turbonada y frentes de lluvia , es necesario ajustar el estado del modelo numérico deformando el estado en el espacio (su cuadrícula) y corrigiendo las amplitudes de estado de forma aditiva. . En 2007, Ravela et al. introducir el modelo de ajuste de amplitud de posición conjunta utilizando conjuntos y derivar sistemáticamente una aproximación secuencial que se puede aplicar tanto a EnKF como a otras formulaciones. [18] Su método no presupone que las amplitudes y los errores de posición sean independientes o conjuntamente gaussianos, como hacen otros. El EnKF morphing emplea estados intermedios, obtenidos mediante técnicas tomadas del registro de imágenes y morphing , en lugar de combinaciones lineales de estados. [19] [20]
Los EnKF se basan en la suposición gaussiana, aunque en la práctica se utilizan para problemas no lineales, donde la suposición gaussiana puede no satisfacerse. Los filtros relacionados que intentan relajar la suposición gaussiana en EnKF mientras preservan sus ventajas incluyen filtros que ajustan el estado pdf con múltiples núcleos gaussianos, [21] filtros que se aproximan al estado pdf mediante mezclas gaussianas , [22] una variante del filtro de partículas con cálculo de pesos de partículas por estimación de densidad , [20] y una variante del filtro de partículas con datos pdf de cola gruesa para aliviar la degeneración del filtro de partículas . [23]
Ver también
- Asimilación de datos
- Predicción numérica del tiempo # Conjuntos
- Filtro de partículas
- Estimación bayesiana recursiva
Referencias
- ^ Kalman, RE (1960). "Un nuevo enfoque de los problemas de filtración y de predicción lineal". Revista de Ingeniería Básica . 82 (1): 35–45. doi : 10.1115 / 1.3662552 . S2CID 1242324 .
- ^ Evensen, G. (1994). "Asimilación secuencial de datos con modelo cuasi-geostrófico no lineal utilizando métodos de Monte Carlo para pronosticar estadísticas de error". Revista de Investigación Geofísica . 99 (C5): 143-162. Código bibliográfico : 1994JGR .... 9910143E . doi : 10.1029 / 94JC00572 . hdl : 1956/3035 .
- ^ Houtekamer, P .; Mitchell, HL (1998). "Asimilación de datos mediante una técnica de filtro de conjunto de Kalman". Revisión mensual del clima . 126 (3): 796–811. Código Bibliográfico : 1998MWRv..126..796H . CiteSeerX 10.1.1.3.1706 . doi : 10.1175 / 1520-0493 (1998) 126 <0796: DAUAEK> 2.0.CO; 2 .
- ^ Para una encuesta de EnKF y técnicas de asimilación de datos relacionadas, consulte Evensen, G. (2007). Asimilación de datos: el filtro de conjunto de Kalman . Berlín: Springer. ISBN 978-3-540-38300-0.
- ^ Anderson, BDO; Moore, JB (1979). Filtrado óptimo . Englewood Cliffs, Nueva Jersey: Prentice-Hall. ISBN 978-0-13-638122-8.
- ^ a b Johns, CJ; Mandel, J. (2008). "Un filtro de Kalman de conjunto de dos etapas para una asimilación de datos fluida". Estadísticas ambientales y ecológicas . 15 (1): 101–110. CiteSeerX 10.1.1.67.4916 . doi : 10.1007 / s10651-007-0033-0 . S2CID 14820232 .
- ^ a b Burgers, G .; van Leeuwen, PJ; Evensen, G. (1998). "Esquema de análisis en el filtro de conjunto de Kalman". Revisión mensual del clima . 126 (6): 1719-1724. Código Bibliográfico : 1998MWRv..126.1719B . CiteSeerX 10.1.1.41.5827 . doi : 10.1175 / 1520-0493 (1998) 126 <1719: ASITEK> 2.0.CO; 2 .
- ^ a b Evensen, G. (2003). "El filtro de conjunto de Kalman: formulación teórica e implementación práctica". Dinámica oceánica . 53 (4): 343–367. Código Bibliográfico : 2003OcDyn..53..343E . CiteSeerX 10.1.1.5.6990 . doi : 10.1007 / s10236-003-0036-9 . S2CID 129233333 .
- ^ a b c d Mandel, J. (junio de 2006). "Implementación eficiente del filtro de conjunto de Kalman" (PDF) . Centro de Informes de Matemática Computacional . Universidad de Colorado en Denver y Health Sciences Center. 231 .
- ^ a b Golub, GH ; Préstamo, CFV (1989). Cálculos matriciales (Segunda ed.). Baltimore: Universidad Johns Hopkins. Prensa. ISBN 978-0-8018-3772-2.
- ^ Chen, Y .; Snyder, C. (2007). "Asimilar la posición del vórtice con un filtro de Kalman de conjunto". Revisión mensual del clima . 135 (5): 1828–1845. Código Bibliográfico : 2007MWRv..135.1828C . doi : 10.1175 / MWR3351.1 .
- ^ Hager, WW (1989). "Actualización de la inversa de una matriz". Revisión SIAM . 31 (2): 221–239. doi : 10.1137 / 1031049 .
- ^ Anderson, JL (2001). "Un filtro de Kalman de ajuste de conjunto para la asimilación de datos". Revisión mensual del clima . 129 (12): 2884–2903. Código Bibliográfico : 2001MWRv..129.2884A . CiteSeerX 10.1.1.5.9952 . doi : 10.1175 / 1520-0493 (2001) 129 <2884: AEAKFF> 2.0.CO; 2 .
- ^ Evensen, G. (2004). "Estrategias de muestreo y esquemas de análisis de raíz cuadrada para el EnKF". Dinámica oceánica . 54 (6): 539–560. Código Bibliográfico : 2004OcDyn..54..539E . CiteSeerX 10.1.1.3.6213 . doi : 10.1007 / s10236-004-0099-2 . S2CID 120171951 .
- ^ Tippett, MK; Anderson, JL; Bishop, CH; Hamill, TM; Whitaker, JS (2003). "Filtros de raíz cuadrada de conjunto". Revisión mensual del clima . 131 (7): 1485-1490. Código bibliográfico : 2003MWRv..131.1485T . CiteSeerX 10.1.1.332.775 . doi : 10.1175 / 1520-0493 (2003) 131 <1485: ESRF> 2.0.CO; 2 .
- ^ Anderson, JL (2003). "Un marco de mínimos cuadrados local para el filtrado de conjuntos". Revisión mensual del clima . 131 (4): 634–642. Código bibliográfico : 2003MWRv..131..634A . CiteSeerX 10.1.1.10.6543 . doi : 10.1175 / 1520-0493 (2003) 131 <0634: ALLSFF> 2.0.CO; 2 .
- ^ Ott, E .; Hunt, BR; Szunyogh, I .; Zimin, AV; Kostelich, EJ; Corazza, M .; Kalnay, E .; Patil, D .; Yorke, JA (2004). "Un filtro de Kalman de conjunto local para la asimilación de datos atmosféricos". Un Tellus . 56 (5): 415–428. arXiv : física / 0203058 . Código bibliográfico : 2004TellA..56..415O . doi : 10.3402 / tellusa.v56i5.14462 . S2CID 218577557 .
- ^ Ravela, S .; Emanuel, K .; McLaughlin, D. (2007). "Asimilación de datos por alineación de campo". Physica . D: Fenómenos no lineales. 230 (1-2): 127-145. Código Bibliográfico : 2007PhyD..230..127R . doi : 10.1016 / j.physd.2006.09.035 .
- ^ Beezley, JD; Mandel, J. (2008). "Filtros de Kalman de conjunto morphing". Un Tellus . 60 (1): 131–140. arXiv : 0705.3693 . Código bibliográfico : 2008TellA..60..131B . doi : 10.1111 / j.1600-0870.2007.00275.x . S2CID 1009227 .
- ^ a b Mandel, J .; Beezley, JD (noviembre de 2006). Filtros de conjunto de predicción-corrección y morphing para la asimilación de datos dispersos en sistemas no lineales de alta dimensión (PDF) . 11º Simposio sobre sistemas integrados de observación y asimilación de la atmósfera, los océanos y la superficie terrestre (IOAS-AOLS), CD-ROM, Documento 4.12, 87ª Reunión anual de la Sociedad Meteorológica Estadounidense, San Antonio, TX, enero de 2007. Informe del CCM 239 . Universidad de Colorado en Denver y Health Sciences Center.
- ^ Anderson, JL; Anderson, SL (1999). "Una implementación de Monte Carlo del problema de filtrado no lineal para producir asimilaciones y pronósticos de conjuntos". Revisión mensual del clima . 127 (12): 2741–2758. Código Bibliográfico : 1999MWRv..127.2741A . doi : 10.1175 / 1520-0493 (1999) 127 <2741: AMCIOT> 2.0.CO; 2 .
- ^ Bengtsson, T .; Snyder, C .; Nychka, D. (2003). "Hacia un filtro de conjunto no lineal para sistemas de alta dimensión" . Revista de Investigación Geofísica: Atmósferas . 108 (D24): STS 2–1–10. Código Bibliográfico : 2003JGRD..108.8775B . doi : 10.1029 / 2002JD002900 .
- ^ van Leeuwen, P. (2003). "Un filtro de minimización de variaciones para aplicaciones a gran escala". Revisión mensual del clima . 131 (9): 2071-2084. Código Bibliográfico : 2003MWRv..131.2071V . CiteSeerX 10.1.1.7.3719 . doi : 10.1175 / 1520-0493 (2003) 131 <2071: AVFFLA> 2.0.CO; 2 .
enlaces externos
- Página web de EnKF
- TOPAZ, pronóstico en tiempo real del océano Atlántico norte y el hielo marino del Ártico con EnKF
- EnKF-C, un marco compacto para la asimilación de datos en modelos geofísicos estratificados a gran escala con EnKF
- PDAF - Parallel Data Assimilation Framework - un software de código abierto para la asimilación de datos que proporciona diferentes variantes de EnKF