3.8.4 AIM/Procesamiento de Lenguaje Natural con Transformers

Temas:
Core Tier1

• Arquitectura Transformer y auto-atención
• BERT y modelos de lenguaje pre-entrenados
• Modelos GPT y generación autoregresiva
• Transformers multimodales
• Variantes eficientes de transformers

Objetivos de Aprendizaje (Learning Outcomes):
Core-Tier1:

1. Implementar modelos transformer desde cero [Usar]
2. Afinar modelos de lenguaje pre-entrenados [Usar]
3. Aplicar modelos GPT para generación de texto [Usar]
4. Usar transformers multimodales para tareas cross-modales [Usar]