3.7.5 FDS/Fundamentos Matemáticos del Aprendizaje Profundo

Aproximación universal, kernel tangente neural, sesgo implícito de SGD, sobreparametrización y aprendizaje profundo geométrico.
Temas:
Core

• Teoremas de aproximación universal: compromisos entre anchura y profundidad para redes ReLU
• Kernel tangente neural (NTK) y el límite de anchura infinita de redes neuronales
• Regularización implícita y sesgo implícito de SGD hacia soluciones de norma mínima
• Sobreajuste benigno y doble descenso en modelos sobreparametrizados
• Aprendizaje profundo geométrico: equivarianza, simetría de grupo y redes neuronales de grafos

Aprendizaje esperado (Learning Outcomes):
Core:

1. Enunciar el teorema de aproximación universal e identificar sus supuestos y limitaciones [Familiarizarse]
2. Explicar el kernel tangente neural y su papel en la comprensión de la dinámica de entrenamiento de redes anchas [Usar]
3. Analizar el sesgo implícito del descenso de gradiente y relacionarlo con la generalización en regímenes sobreparametrizados [Evaluar]