En los métodos numéricos para ecuaciones diferenciales estocásticas , el método de aproximación de la cadena de Markov (MCAM) pertenece a los varios enfoques numéricos (esquemas) utilizados en la teoría de control estocástico . Lamentablemente, la simple adaptación de los esquemas deterministas para emparejarlos con modelos estocásticos como el método de Runge-Kutta no funciona en absoluto.
Es un conjunto de ideas poderoso y ampliamente utilizable, debido a la infancia actual del control estocástico, incluso podría llamarse 'insights'. para problemas numéricos y de otras aproximaciones en procesos estocásticos . [1] [2] Representan contrapartes de la teoría del control determinista, como la teoría del control óptimo . [3]
La idea básica del MCAM es aproximar el proceso controlado original mediante un proceso de Markov controlado elegido en un espacio de estados finito . En caso de necesidad, también se debe aproximar la función de costo para una que coincida con la cadena de Markov elegida para aproximar el proceso estocástico original.
Ver también
Referencias
- ^ Harold J Kushner, Paul G Dupuis, Métodos numéricos para problemas de control estocástico en tiempo continuo, Aplicaciones de las matemáticas 24, Springer-Verlag, 1992.
- ^ PE Kloeden, Eckhard Platen, Soluciones numéricas de ecuaciones diferenciales estocásticas, Aplicaciones de las matemáticas 23, Modelado estocástico y probabilidad aplicada, Springer, 1992.
- ^ FB Hanson, "Aproximación de la cadena de Markov" , en CT Leondes, ed., Técnicas del sistema de control digital estocástico , Academic Press, 1996, ISBN 978-0120127764 .