La optimización libre de derivadas es una disciplina en la optimización matemática que no utiliza información derivada en el sentido clásico para encontrar soluciones óptimas: a veces, la información sobre la derivada de la función objetivo f no está disponible, es poco confiable o no es práctica de obtener. Por ejemplo, f podría no ser uniforme, llevar mucho tiempo evaluarlo o de alguna manera ser ruidoso, de modo que los métodos que se basan en derivadas o se aproximan a ellas mediante diferencias finitas son de poca utilidad. El problema para encontrar puntos óptimos en tales situaciones se conoce como optimización sin derivadas, los algoritmos que no usan derivadas o diferencias finitas se denominan algoritmos sin derivadas.. [1]
Introducción
El problema a resolver es optimizar numéricamente una función objetivo por algún set (por lo general ), es decir, encontrar tal que sin perdida de generalidad para todos .
Cuando sea aplicable, un enfoque común es mejorar iterativamente la estimación de un parámetro mediante la escalada local en el paisaje de la función objetivo. Los algoritmos basados en derivadas utilizan información derivada depara encontrar una buena dirección de búsqueda, ya que, por ejemplo, el gradiente indica la dirección del ascenso más pronunciado. La optimización basada en derivados es eficiente para encontrar óptimos locales para problemas monomodales uniformes de dominio continuo. Sin embargo, pueden tener problemas cuando, por ejemplo, está desconectado, o entero (mixto), o cuando es costoso de evaluar, no es fluido o es ruidoso, por lo que las derivadas (aproximaciones numéricas de) no brindan información útil. Un problema ligeramente diferente es cuando es multimodal, en cuyo caso los métodos locales basados en derivadas solo dan óptimos locales, pero pueden pasar por alto el global.
En la optimización sin derivadas, se emplean varios métodos para abordar estos desafíos utilizando solo valores de función de , pero sin derivados. Se puede demostrar que algunos de estos métodos descubren óptimos, pero algunos son más bien metaheurísticos, ya que los problemas son en general más difíciles de resolver en comparación con la optimización convexa . Para estos, la ambición es encontrar de manera eficiente valores de parámetros "buenos" que pueden ser casi óptimos con suficientes recursos, pero normalmente no se pueden dar garantías de optimización. Hay que tener en cuenta que los desafíos son diversos, por lo que normalmente no se puede utilizar un algoritmo para todo tipo de problemas.
Algoritmos
Los algoritmos de optimización sin derivadas notables incluyen:
- Optimización bayesiana
- Descenso coordinado y descenso coordinado adaptativo
- Búsqueda de cuco
- HECHO
- Estrategias de evolución , estrategias de evolución natural ( CMA-ES , xNES, SNES)
- Algoritmos genéticos
- Algoritmo MCS
- Método Nelder-Mead
- Optimización de Enjambre de partículas
- Búsqueda de patrones
- Búsqueda aleatoria (incluido Luus – Jaakola )
- Recocido simulado
- Método de subgrado
Ver también
Referencias
- ^ Conn, AR; Scheinberg, K .; Vicente, LN (2009). Introducción a la optimización sin derivadas . Serie de libros MPS-SIAM sobre optimización. Filadelfia: SIAM . Consultado el 18 de enero de 2014 .
enlaces externos
- Audet, Charles; Kokkolaras, Michael (2016). "Blackbox y optimización libre de derivadas: teoría, algoritmos y aplicaciones" . Optimización e Ingeniería . 17 : 1-2. doi : 10.1007 / s11081-016-9307-4 .