El hamiltoniano es una función que se utiliza para resolver un problema de control óptimo de un sistema dinámico . Puede entenderse como un incremento instantáneo de la expresión lagrangiana del problema que se va a optimizar durante un determinado período de tiempo. [1] Inspirado por, pero distinto del hamiltoniano de la mecánica clásica , el hamiltoniano de la teoría del control óptimo fue desarrollado por Lev Pontryagin como parte de su principio máximo . [2] [3]Pontryagin demostró que una condición necesaria para resolver el problema de control óptimo es que el control debe elegirse para optimizar el hamiltoniano. [4]
Enunciado del problema y definición del hamiltoniano
Considere un sistema dinámico deecuaciones diferenciales de primer orden
dónde denota un vector de variables de estado, y un vector de variables de control. Una vez que las condiciones iniciales y controles se especifican, una solución a las ecuaciones diferenciales, llamada trayectoria , puede ser encontrado. El problema del control óptimo es elegir(de un conjunto compacto y convexo ) así que eso maximiza o minimiza una determinada función objetivo entre un tiempo inicial y un tiempo terminal (dónde puede ser infinito ). Específicamente, el objetivo es optimizar un índice de rendimiento. en cada momento,
sujeto a las ecuaciones de movimiento anteriores de las variables de estado. El método de solución implica definir una función auxiliar conocida como control hamiltoniano [2]
que combina la función objetivo y las ecuaciones de estado como un Lagrangiano en un problema de optimización estática, solo que los multiplicadores, denominadas variables de costate , son funciones del tiempo más que constantes.
El objetivo es encontrar una función de política de control óptima y, con ello, una trayectoria óptima de la variable de estado , que según el principio máximo de Pontryagin son los argumentos que maximizan el hamiltoniano,
- para todos
Las condiciones necesarias de primer orden para un máximo están dadas por
- que genera la función de transición de estado ,
- que genera
las últimas de las cuales se conocen como ecuaciones de costada . Juntas, las ecuaciones de estado y de costa describen el sistema dinámico hamiltoniano (de nuevo análogo pero distinto del sistema hamiltoniano en física), cuya solución implica un problema de valor de frontera de dos puntos , dado que hay condiciones de contorno que involucran dos puntos diferentes en el tiempo, el tiempo inicial (el ecuaciones diferenciales para las variables de estado), y el tiempo terminal (el ecuaciones diferenciales para las variables de costa; a menos que se especifique una función final, las condiciones de contorno son, o para horizontes de tiempo infinitos). [5]
Una condición suficiente para un máximo es la concavidad del hamiltoniano evaluado en la solución, es decir
dónde es el control óptimo, y es la trayectoria óptima resultante para la variable de estado. [6] Alternativamente, por un resultado debido a Olvi L. Mangasarian , las condiciones necesarias son suficientes si las funciones y son cóncavos en y . [7]
Derivación del Lagrangiano
Un problema de optimización restringido como el que se indicó anteriormente generalmente sugiere una expresión lagrangiana, específicamente
donde el comparar con el multiplicador de Lagrange en un problema de optimización estática pero ahora, como se señaló anteriormente, son una función del tiempo. Continuando con una transformación de Legendre , el último término en el lado derecho se puede reescribir usando la integración por partes , de modo que
que puede sustituirse de nuevo en la expresión lagrangiana para dar
Para derivar las condiciones de primer orden para un óptimo, suponga que se ha encontrado la solución y que el Lagrangiano está maximizado. Entonces cualquier cambio a o debe hacer que el valor del lagrangiano disminuya. Específicamente, la derivada total de obedece
Para que esta expresión sea igual a cero, se necesitan las siguientes condiciones de optimización:
Si tanto el valor inicial y valor terminal son fijos, es decir , sin condiciones en y Se necesitan. Si el valor terminal es libre, como suele ser el caso, la condición adicionales necesario para la optimización. Esta última se denomina condición de transversalidad para un problema de horizonte fijo. [8]
Se puede ver que las condiciones necesarias son idénticas a las indicadas anteriormente para el hamiltoniano. Así, el hamiltoniano puede entenderse como un dispositivo para generar las condiciones necesarias de primer orden. [9]
El hamiltoniano en tiempo discreto
Cuando el problema se formula en tiempo discreto, el hamiltoniano se define como:
y las ecuaciones de las costas son
(Tenga en cuenta que el Hamiltoniano de tiempo discreto en el momento involucra la variable costate en el momento [10] Este pequeño detalle es fundamental para que cuando diferenciamos con respecto a obtenemos un término que involucra en el lado derecho de las ecuaciones de la costate. El uso de una convención incorrecta aquí puede conducir a resultados incorrectos, es decir, una ecuación de costada que no es una ecuación en diferencias al revés).
Comportamiento del hamiltoniano a lo largo del tiempo
Del principio máximo de Pontryagin, se pueden derivar condiciones especiales para el hamiltoniano. [11] Cuando la última vez es fijo y el hamiltoniano no depende explícitamente del tiempo , luego:
o si el tiempo terminal es libre, entonces:
Además, si el tiempo terminal tiende al infinito , se aplica una condición de transversalidad en el hamiltoniano. [12]
El hamiltoniano del control comparado con el hamiltoniano de la mecánica
William Rowan Hamilton definió al hamiltoniano para describir la mecánica de un sistema. Es una función de tres variables:
dónde es el Lagrangiano , cuyo extremo determina la dinámica ( no el Lagrangiano definido anteriormente), es la variable de estado y es su derivada del tiempo.
es el llamado " momento conjugado ", definido por
Hamilton luego formuló sus ecuaciones para describir la dinámica del sistema como
El hamiltoniano de la teoría del control describe no la dinámica de un sistema, sino las condiciones para extremizar alguna función escalar del mismo (la lagrangiana) con respecto a una variable de control.. Como se define normalmente, es una función de 4 variables
dónde es la variable de estado y es la variable de control con respecto a lo que estamos extremando.
Las condiciones asociadas para un máximo son
Esta definición concuerda con la dada por el artículo de Sussmann y Willems. [13] (ver p. 39, ecuación 14). Sussmann y Willems muestran cómo el control hamiltoniano se puede utilizar en dinámica, por ejemplo, para el problema de la braquistocrona , pero no mencionan el trabajo anterior de Carathéodory sobre este enfoque. [14]
Valor actual y valor actual Hamiltoniano
En economía , la función objetivo en los problemas de optimización dinámica a menudo depende directamente del tiempo solo a través del descuento exponencial , de modo que toma la forma
dónde se conoce como función de utilidad instantánea o función de felicidad . [15] Esto permite una redefinición del hamiltoniano como dónde
que se conoce como el valor actual hamiltoniano, en contraste con el valor actual hamiltoniano definido en la primera sección. Más notablemente, las variables de costa se redefinen como, lo que conduce a condiciones de primer orden modificadas.
- ,
que se deriva inmediatamente de la regla del producto . Económicamente,representar los precios sombra a valor corriente de los bienes de capital.
Ejemplo: modelo de Ramsey – Cass – Koopmans
En economía , el modelo de Ramsey-Cass-Koopmans se utiliza para determinar un comportamiento de ahorro óptimo para una economía. La función objetivoes la función de bienestar social ,
para maximizar mediante la elección de una ruta de consumo óptima . La funciónindica la utilidad del agente representativo del consumidoren cualquier momento dado. El factorrepresenta descuento . El problema de maximización está sujeto a la siguiente ecuación diferencial de intensidad de capital , que describe la evolución temporal del capital por trabajador efectivo:
dónde es el período t consumo, es el período t capital por trabajador (con ), es el período t de producción, es la tasa de crecimiento de la población, es la tasa de depreciación del capital, el agente descuenta la utilidad futura a la tasa , con y .
Aquí, es la variable de estado que evoluciona de acuerdo con la ecuación anterior, y es la variable de control. El hamiltoniano se convierte en
Las condiciones de optimalidad son
además de la condición de transversalidad . Si dejamos, luego diferenciando logarítmicamente la primera condición de optimalidad con respecto a rendimientos
Al insertar esta ecuación en la segunda condición de optimalidad se obtiene
que se conoce como la regla de Keynes-Ramsey , que da una condición para el consumo en cada período que, si se sigue, asegura la máxima utilidad de por vida.
Referencias
- ^ Ferguson, Brian S .; Lim, GC (1998). Introducción a los problemas económicos dinámicos . Manchester: Manchester University Press. págs. 166-167. ISBN 0-7190-4996-2.
- ^ a b Ross, MI (2009). Una introducción al principio de Pontryagin en control óptimo . Editores colegiados. ISBN 978-0-9843571-0-9. OCLC 625106088 .
- ^ Dixit, Avinash K. (1990). Optimización en Teoría Económica . Nueva York: Oxford University Press. págs. 145-161. ISBN 978-0-19-877210-1.
- ^ Kirk, Donald E. (1970). Teoría del control óptimo: una introducción . Acantilados de Englewood: Prentice Hall. pag. 232. ISBN 0-13-638098-0.
- ^ Gandolfo, Giancarlo (1996). Dinámica económica (Tercera ed.). Berlín: Springer. págs. 375–376. ISBN 3-540-60988-1.
- ^ Seierstad, Atle; Sydsæter, Knut (1987). Teoría de control óptimo con aplicaciones económicas . Amsterdam: Holanda Septentrional. págs. 107-110. ISBN 0-444-87923-4.
- ^ Mangasarian, OL (1966). "Condiciones suficientes para el control óptimo de sistemas no lineales". Revista SIAM de Control . 4 (1): 139-152. doi : 10.1137 / 0304013 .
- ^ Léonard, Daniel; Long, Ngo Van (1992). "Restricciones de punto final y condiciones de transversalidad" . Teoría de control óptimo y optimización estática en economía . Nueva York: Cambridge University Press. pag. 222 [Teorema 7.1.1]. ISBN 0-521-33158-7.
- ^ Kamien, Morton I .; Schwartz, Nancy L. (1991). Optimización dinámica: el cálculo de variaciones y el control óptimo en economía y gestión (Segunda ed.). Amsterdam: Holanda Septentrional. págs. 126-127. ISBN 0-444-01609-0.
- ^ Varaiya, P. (1998). "Lecture Notes on Optimization" (PDF) (2ª ed.). págs. 75–82. Archivado desde el original (PDF) el 10 de abril de 2003.
- ^ Naidu, Desineni S. (2003). Sistemas de control óptimos . Boca Ratón: CRC Press. págs. 259-260. ISBN 0-8493-0892-5.
- ^ Michel, Philippe (1982). "Sobre la condición de transversalidad en problemas óptimos de horizonte infinito" . Econometrica . 50 (4): 975–985. doi : 10.2307 / 1912772 . JSTOR 1912772 .
- ^ Sussmann; Willems (junio de 1997). "300 años de control óptimo" (PDF) . Revista IEEE Control Systems . Archivado desde el original (PDF) el 30 de julio de 2010.
- ^ Ver Pesch, HJ; Bulirsch, R. (1994). "El principio máximo, la ecuación de Bellman y la obra de Carathéodory". Revista de teoría y aplicaciones de la optimización . 80 (2): 199–225. doi : 10.1007 / BF02192933 .
- ^ Bævre, Kåre (primavera de 2005). "Econ 4350: Crecimiento e inversión: Nota de conferencia 7" (PDF) . Departamento de Economía, Universidad de Oslo.
Otras lecturas
- Léonard, Daniel; Long, Ngo Van (1992). "El Principio Máximo" . Teoría de control óptimo y optimización estática en economía . Nueva York: Cambridge University Press. págs. 127-168. ISBN 0-521-33158-7.
- Stengel, Robert F. (1994). "El Principio Mínimo". Optimal Control and Estimation , Nueva York: Publicaciones de Dover. págs. 216-218. ISBN 978-048668200-6
- Takayama, Akira (1985). "Desarrollos de la teoría del control óptimo y sus aplicaciones" . Economía Matemática (2ª ed.). Nueva York: Cambridge University Press. págs. 600–719. ISBN 0-521-31498-4.
- Wulwick, Nancy (1995). "El formalismo hamiltoniano y la teoría del crecimiento óptimo". En Rima, IH (ed.). Medición, cuantificación y análisis económico . Londres: Routledge. ISBN 978-0-415-08915-9.