3.5.4 NSA/Algoritmos de Optimización

Métodos de gradiente, métodos de Newton y cuasi-Newton, optimización con restricciones y algoritmos de optimización convexa.
Temas:
Core

• Descenso por gradiente y métodos de búsqueda lineal: condiciones de Armijo-Wolfe y tasas de convergencia
• Método de Newton y métodos cuasi-Newton (BFGS, L-BFGS)
• Optimización con restricciones: condiciones KKT, métodos de penalización y programación cuadrática secuencial
• Algoritmos de optimización convexa: métodos de punto interior y método de multiplicadores de dirección alterna (ADMM)
• Descenso de gradiente estocástico (SGD), reducción de varianza y optimizador Adam

Aprendizaje esperado (Learning Outcomes):
Core:

1. Explicar las garantías de convergencia del descenso por gradiente para funciones convexas suaves [Familiarizarse]
2. Aplicar los métodos de Newton y cuasi-Newton a problemas de optimización sin restricciones [Usar]
3. Formular un problema de optimización con restricciones como un sistema KKT y aplicar un método de punto interior [Evaluar]