3.7.2 FDS/Optimización para Aprendizaje Automático

Teoría de optimización convexa, SGD y sus variantes, métodos adaptativos y paisajes de optimización no convexa.
Temas:
Core

• Convexidad, convexidad fuerte y dualidad de Fenchel en optimización
• Descenso de gradiente estocástico: tasas de convergencia para objetivos convexos y no convexos
• Métodos de gradiente adaptativo: AdaGrad, RMSProp y Adam
• Optimización no convexa: puntos de silla, mínimos locales y geometría del paisaje de pérdida de redes neuronales
• Métodos de gradiente proximal y descenso por coordenadas para problemas estructurados

Aprendizaje esperado (Learning Outcomes):
Core:

1. Explicar las garantías de convergencia de SGD para funciones convexas suaves e identificar el papel de la tasa de aprendizaje [Familiarizarse]
2. Aplicar Adam y métodos de gradiente proximal para entrenar modelos de aprendizaje automático regularizados [Usar]
3. Analizar el paisaje de pérdida de una red sobreparametrizada y explicar por qué SGD encuentra buenos mínimos [Evaluar]