En optimización matemática , las condiciones de Karush-Kuhn-Tucker (KKT) , también conocidas como condiciones de Kuhn-Tucker , son pruebas de primera derivada (a veces llamadas condiciones necesarias de primer orden ) para que una solución en programación no lineal sea óptima , siempre que algunos se cumplen las condiciones de regularidad .
Al permitir restricciones de desigualdad, el enfoque KKT para la programación no lineal generaliza el método de los multiplicadores de Lagrange , que solo permite restricciones de igualdad. Similar al enfoque de Lagrange, el problema de maximización restringida (minimización) se reescribe como una función de Lagrange cuyo punto óptimo es un punto silla , es decir, un máximo global (mínimo) sobre el dominio de las variables de elección y un mínimo global (máximo) sobre el multiplicadores, razón por la cual el teorema de Karush-Kuhn-Tucker a veces se denomina teorema del punto de silla de montar. [1]
Las condiciones del KKT fueron originalmente nombradas en honor a Harold W. Kuhn y Albert W. Tucker , quienes publicaron por primera vez las condiciones en 1951. [2] Los estudiosos posteriores descubrieron que las condiciones necesarias para este problema habían sido establecidas por William Karush en su tesis de maestría en 1939. . [3] [4]
Problema de optimización no lineal
Considere el siguiente problema de minimización o maximización no lineal :
- minimizar
- sujeto a
dónde es la variable de optimización elegida de un subconjunto convexo de, es la función objetivo o de utilidad ,son las funciones de restricción de desigualdad yson las funciones de restricción de igualdad . Los números de desigualdades e igualdades se denotan por y respectivamente. En correspondencia con el problema de optimización restringida, se puede formar la función lagrangiana
dónde , . El teorema de Karush-Kuhn-Tucker establece lo siguiente.
Teorema. Sies un punto de silla de en , , luego es un vector óptimo para el problema de optimización anterior. Suponer que y , , son convexas en y que existe tal que . Luego, con un vector óptimo para el problema de optimización anterior hay asociado un vector no negativo tal que es un punto de silla de . [5]
Dado que la idea de este enfoque es encontrar un hiperplano de apoyo en el conjunto factible, la demostración del teorema de Karush-Kuhn-Tucker hace uso del teorema de separación de hiperplano . [6]
El sistema de ecuaciones y desigualdades correspondientes a las condiciones KKT generalmente no se resuelve directamente, excepto en los pocos casos especiales en los que se puede derivar analíticamente una solución de forma cerrada . En general, muchos algoritmos de optimización se pueden interpretar como métodos para resolver numéricamente el sistema de ecuaciones y desigualdades KKT. [7]
Condiciones necesarias
Supongamos que la función objetivo y las funciones de restricción y son continuamente diferenciables en un punto. Sies un óptimo local y el problema de optimización satisface algunas condiciones de regularidad (ver más abajo), entonces existen constantes y , llamados multiplicadores KKT, de modo que se cumplen los siguientes cuatro grupos de condiciones:
- Estacionariedad
- Para minimizar :
- Para maximizar :
- Viabilidad primordial
- Viabilidad dual
- Holgura complementaria
La última condición a veces se escribe en forma equivalente:
En el caso particular , es decir, cuando no hay restricciones de desigualdad, las condiciones de KKT se convierten en las condiciones de Lagrange, y los multiplicadores de KKT se denominan multiplicadores de Lagrange .
Si algunas de las funciones no son diferenciables, hay disponibles versiones subdiferenciales de las condiciones de Karush-Kuhn-Tucker (KKT). [8]
Representación matricial
Las condiciones necesarias se pueden escribir con matrices jacobianas de las funciones de restricción. Dejar ser definido como y deja ser definido como . Dejar y . Entonces las condiciones necesarias se pueden escribir como:
- Estacionariedad
- Para maximizar :
- Para minimizar :
- Viabilidad primordial
- Viabilidad dual
- Holgura complementaria
Condiciones de regularidad (o calificaciones de restricción)
Uno puede preguntarse si un punto minimizador del problema de optimización restringido original (suponiendo que exista uno) tiene que satisfacer las condiciones de KKT anteriores. Esto es similar a preguntar bajo qué condiciones el minimizador de una función en un problema sin restricciones tiene que satisfacer la condición . Para el caso restringido, la situación es más complicada, y se pueden establecer una variedad de condiciones de "regularidad" (cada vez más complicadas) bajo las cuales un minimizador restringido también satisface las condiciones KKT. Algunos ejemplos comunes de condiciones que garantizan esto se tabulan a continuación, siendo el LICQ el más utilizado:
Restricción | Acrónimo | Declaración |
---|---|---|
Calificación de restricción de linealidad | LCQ | Si y son funciones afines , entonces no se necesita ninguna otra condición. |
Calificación de restricción de independencia lineal | LICQ | Los gradientes de las restricciones de desigualdad activas y los gradientes de las restricciones de igualdad son linealmente independientes en. |
Calificación de restricción de Mangasarian-Fromovitz | MFCQ | Los gradientes de las restricciones de igualdad son linealmente independientes en y existe un vector tal que para todas las restricciones de desigualdad activas y para todas las restricciones de igualdad. [9] |
Calificación de restricción de rango constante | CRCQ | Para cada subconjunto de los gradientes de las restricciones de desigualdad activas y los gradientes de las restricciones de igualdad, el rango en una vecindad de es constante. |
Calificación de restricción de dependencia lineal positiva constante | CPLD | Para cada subconjunto de gradientes de restricciones de desigualdad activas y gradientes de restricciones de igualdad, si el subconjunto de vectores es linealmente dependiente en con escalares no negativos asociados con las restricciones de desigualdad, entonces permanece linealmente dependiente en un vecindario de . |
Calificación de restricción de cuasi normalidad | QNCQ | Si los gradientes de las restricciones de desigualdad activas y los gradientes de las restricciones de igualdad son linealmente dependientes en con multiplicadores asociados por igualdad y para las desigualdades, entonces no hay secuencia tal que y |
Condición de Slater | CAROLINA DEL SUR | Para un problema convexo (es decir, asumiendo minimización, son convexos y es afín), existe un punto tal que y |
Se pueden mostrar las implicaciones estrictas
- LICQ ⇒ MFCQ ⇒ CPLD ⇒ QNCQ
y
- LICQ ⇒ CRCQ ⇒ CPLD ⇒ QNCQ
En la práctica, se prefieren las calificaciones de restricción más débiles, ya que se aplican a una selección más amplia de problemas.
Condiciones suficientes
En algunos casos, las condiciones necesarias también son suficientes para la optimización. En general, las condiciones necesarias no son suficientes para la optimización y se requiere información adicional, como las Condiciones Suficientes de Segundo Orden (SOSC). Para funciones suaves, SOSC involucra las segundas derivadas, lo que explica su nombre.
Las condiciones necesarias son suficientes para la optimización si la función objetivo de un problema de maximización es una función cóncava , las restricciones de desigualdadson funciones convexas continuamente diferenciables y las restricciones de igualdadson funciones afines . Del mismo modo, si la función objetivode un problema de minimización es una función convexa , las condiciones necesarias también son suficientes para la optimización.
Martin demostró en 1985 que la clase más amplia de funciones en las que las condiciones KKT garantizan la optimización global son las llamadas funciones invex de Tipo 1 . [10] [11]
Condiciones suficientes de segundo orden
Para problemas de optimización suaves y no lineales , se da una condición suficiente de segundo orden como sigue.
La solución que se encuentra en la sección anterior es un mínimo local restringido si para el Lagrangiano,
luego,
dónde es un vector que satisface lo siguiente,
donde solo esas restricciones de desigualdad activas correspondiente a la complementariedad estricta (es decir, donde ) se aplican. La solución es un mínimo local estrictamente restringido en el caso de que la desigualdad también sea estricta.
Si , la expansión de Taylor de tercer orden del Lagrangiano debe usarse para verificar si es un mínimo local. La minimización dees un buen contraejemplo, véase también la superficie de Peano .
Ciencias económicas
A menudo, en economía matemática, el enfoque KKT se utiliza en modelos teóricos para obtener resultados cualitativos. Por ejemplo, [12] considere una empresa que maximiza sus ingresos por ventas sujeta a una restricción de beneficio mínimo. Dejando ser la cantidad de producción producida (a elegir), ser ingresos por ventas con una primera derivada positiva y con un valor cero con una producción cero, Ser costos de producción con una primera derivada positiva y con un valor no negativo a producción cero, y sea el nivel de beneficio mínimo aceptable positivo , entonces el problema es significativo si la función de ingresos se estabiliza, por lo que eventualmente es menos empinada que la función de costos. El problema expresado en la forma de minimización dada anteriormente es
- Minimizar
- sujeto a
y las condiciones KKT son
Desde violaría la restricción de beneficio mínimo, tenemos y por tanto, la tercera condición implica que la primera condición se cumple con la igualdad. Resolver que la igualdad da
Porque se le dio que y son estrictamente positivas, esta desigualdad junto con la condición de no negatividad en garantiza que es positivo y, por lo tanto, la empresa que maximiza los ingresos opera a un nivel de producción en el que los ingresos marginales es menor que el costo marginal - un resultado que es de interés porque contrasta con el comportamiento de una empresa maximizadora de beneficios , que opera a un nivel en el que son iguales.
Función de valor
Si reconsideramos el problema de optimización como un problema de maximización con restricciones de desigualdad constantes:
La función de valor se define como
entonces el dominio de es
Dada esta definición, cada coeficiente es la tasa a la que aumenta la función de valor a medida que aumenta. Por tanto, si cada se interpreta como una restricción de recursos, los coeficientes le dicen cuánto aumentar un recurso aumentará el valor óptimo de nuestra función . Esta interpretación es especialmente importante en economía y se utiliza, por ejemplo, en problemas de maximización de la utilidad .
Generalizaciones
Con un multiplicador extra , que puede ser cero (siempre que ), en frente de las condiciones de estacionariedad del KKT se convierten en
que se denominan condiciones de Fritz John . Esta condición de optimalidad se mantiene sin calificaciones de restricción y es equivalente a la condición de optimalidad KKT o (no-MFCQ) .
Las condiciones KKT pertenecen a una clase más amplia de condiciones necesarias de primer orden (FONC), que permiten funciones no uniformes que utilizan subderivadas .
Ver también
- Lema de Farkas
- Multiplicador de Lagrange
- El método Big M , para problemas lineales, que extiende el algoritmo simplex a problemas que contienen restricciones "mayor que".
- Variable de holgura
Referencias
- ^ Tabak, Daniel; Kuo, Benjamin C. (1971). Control óptimo por programación matemática . Englewood Cliffs, Nueva Jersey: Prentice-Hall. págs. 19-20. ISBN 0-13-638106-5.
- ^ Kuhn, HW ; Tucker, AW (1951). "Programación no lineal" . Actas del 2º Simposio de Berkeley . Berkeley: Prensa de la Universidad de California. págs. 481–492. Señor 0047303 .
- ^ W. Karush (1939). Mínimos de funciones de varias variables con desigualdades como restricciones laterales (tesis de maestría). Departamento de Matemáticas, Univ. de Chicago, Chicago, Illinois.
- ^ Kjeldsen, Tinne Hoff (2000). "Un análisis histórico contextualizado del teorema de Kuhn-Tucker en programación no lineal: el impacto de la Segunda Guerra Mundial". Historia Math . 27 (4): 331–361. doi : 10.1006 / hmat.2000.2289 . Señor 1800317 .
- ^ Walsh, GR (1975). "Propiedad del punto de silla de montar de la función lagrangiana" . Métodos de optimización . Nueva York: John Wiley & Sons. págs. 39–44. ISBN 0-471-91922-5.
- ^ Kemp, Murray C .; Kimura, Yoshio (1978). Introducción a la Economía Matemática . Nueva York: Springer. págs. 38–44 . ISBN 0-387-90304-6.
- ^ Boyd, Stephen; Vandenberghe, Lieven (2004). Optimización convexa . Cambridge: Cambridge University Press . pag. 244. ISBN 0-521-83378-7. Señor 2061575 .
- ^ Ruszczyński, Andrzej (2006). Optimización no lineal . Princeton, Nueva Jersey: Princeton University Press . ISBN 978-0691119151. Señor 2199043 .
- ^ Dimitri Bertsekas (1999). Programación no lineal (2 ed.). Athena Scientific. págs. 329–330. ISBN 9781886529007.
- ^ Martin, DH (1985). "La Esencia de la Invexidad". J. Optim. Teoría Appl . 47 (1): 65–76. doi : 10.1007 / BF00941316 . S2CID 122906371 .
- ^ Hanson, MA (1999). "Invexidad y el teorema de Kuhn-Tucker". J. Math. Anal. Apl . 236 (2): 594–604. doi : 10.1006 / jmaa.1999.6484 .
- ^ Chiang, Alpha C. Métodos fundamentales de la economía matemática , 3ª edición, 1984, págs. 750–752.
Otras lecturas
- Andreani, R .; Martínez, JM; Schuverdt, ML (2005). "Sobre la relación entre la condición de dependencia lineal positiva constante y la calificación de restricción de cuasinormalidad". Revista de teoría y aplicaciones de la optimización . 125 (2): 473–485. doi : 10.1007 / s10957-004-1861-9 . S2CID 122212394 .
- Avriel, Mordecai (2003). Programación no lineal: análisis y métodos . Dover. ISBN 0-486-43227-0.
- Boltyanski, V .; Martini, H .; Soltan, V. (1998). "El teorema de Kuhn-Tucker" . Métodos geométricos y problemas de optimización . Nueva York: Springer. págs. 78–92. ISBN 0-7923-5454-0.
- Boyd, S .; Vandenberghe, L. (2004). "Condiciones óptimas" (PDF) . Optimización convexa . Prensa de la Universidad de Cambridge. págs. 241–249. ISBN 0-521-83378-7.
- Kemp, Murray C .; Kimura, Yoshio (1978). Introducción a la Economía Matemática . Nueva York: Springer. págs. 38–73 . ISBN 0-387-90304-6.
- Rau, Nicolás (1981). "Multiplicadores de Lagrange". Matrices y Programación Matemática . Londres: Macmillan. págs. 156-174. ISBN 0-333-27768-6.
- Nocedal, J .; Wright, SJ (2006). Optimización numérica . Nueva York: Springer. ISBN 978-0-387-30303-1.
- Sundaram, Rangarajan K. (1996). "Restricciones de desigualdad y el teorema de Kuhn y Tucker" . Un primer curso de teoría de la optimización . Nueva York: Cambridge University Press. págs. 145-171. ISBN 0-521-49770-1.
enlaces externos
- Condiciones de Karush-Kuhn-Tucker con derivación y ejemplos
- Ejemplos y tutoriales sobre las condiciones del KKT