- ES Español (Latinoamérica)

3.44. AI265 Aprendizaje por Refuerzo (Obligatorio)
- Semestre: 7mo Sem. Créditos: 4
- Horas del curso: Teoría: 2 horas; Laboratorio: 4 horas;
- Sílabo:


Español (Latinoamérica)

English - Prerrequisitos:
- AI263 Introducción a Machine Learning (6to Sem)
- ES Español (Latinoamérica)

3.44.1. Justificación Volver arriba

El aprendizaje por refuerzo (RL) es fundamental para sistemas autónomos. Este curso cubre algoritmos clave como Q-Learning, DQN y Policy Gradients, con aplicaciones en robótica y juegos.
- ES Español (Latinoamérica)

3.44.2. Objetivos Generales Volver arriba

- Diseñar agentes RL para entornos estocásticos.
- Implementar algoritmos RL usando frameworks modernos (OpenAI Gym, TensorFlow).
- Analizar problemas éticos en sistemas autónomos basados en RL.
- ES Español (Latinoamérica)

3.44.3. Contribución a los resultados (Outcomes) Volver arriba

- AG-C08) Análisis de Problemas: Identifica, formula y analiza problemas complejos de computación. (Usage)
- AG-C09) Diseño y Desarrollo de Soluciones: Diseña, implementa y evalúa soluciones para problemas complejos de computación. (Usage)
- ES Español (Latinoamérica)

3.44.4. Contenido Volver arriba

- ES Español (Latinoamérica)

3.44.4.1. Fundamentos de RL (18 horas) [Habilidades AG-C08,AG-C09] Volver arriba

Referencias Bibliográficas: (Sutton and Barto, 2018)
Temas
- Introducción al paradigma del Aprendizaje por Refuerzo: agente, entorno, acciones, estados, recompensas.
- Formalización de problemas secuenciales: Procesos de Decisión Markovianos (MDPs) y Procesos de Decisión Markovianos Parcialmente Observables (POMDPs).
- Concepto de horizonte y factor de descuento (gamma).
- La Ecuación de Bellman: fundamento de optimalidad para funciones valor estado (V) y acción-estado (Q).
- Métodos de Programación Dinámica: Evaluación y Mejora Iterativa de Políticas.
- Métodos de Monte Carlo: aprendizaje a partir de episodios completos.
- Algoritmos de diferencia temporal (TD): TD(0), SARSA, y el balance entre bias y varianza.
- Q-Learning (off-policy): derivación, propiedades de convergencia y parámetros (learning rate, epsilon-greedy).
Aprendizaje esperado (Learning Outcomes)
- Modelar problemas como MDPs [Evaluar]
- Implementar Q-Learning [Usar]
- ES Español (Latinoamérica)

3.44.4.2. Métodos Avanzados de RL Clásico (14 horas) [Habilidades AG-C08,AG-C09] Volver arriba

Referencias Bibliográficas: (Sutton and Barto, 2018)
Temas
- Limitaciones de los métodos tabulares y la maldición de la dimensionalidad.
- Aproximación de funciones valor: sustitución de tablas por modelos paramétricos (lineales, no lineales).
- Algoritmos de Gradiente Temporal: minimización del error de Bellman.
- Eligibilidad Traces: unificación de Monte Carlo y TD (TD(\(\delta\))).
- Planificación y Aprendizaje Integrados: Modelos del entorno y algoritmos Dyna-Q.
- Métodos basados en Políticas (Policy Search): introducción al gradiente de política.
- Balance entre exploración y explotación: estrategias avanzadas (UCB, exploración basada en entropía).
Aprendizaje esperado (Learning Outcomes)
- Modelar problemas como MDPs [Evaluar]
- Implementar Q-Learning [Usar]
- ES Español (Latinoamérica)

3.44.4.3. RL Profundo (Deep RL) (20 horas) [Habilidades AG-C08,AG-C09] Volver arriba

Referencias Bibliográficas: (Mnih et al., 2015; Silver et al., 2017)
Temas
- Revolución del RL con Deep Learning: estabilización del entrenamiento.
- Deep Q-Networks (DQN): arquitectura, función de pérdida, y mecanismos de estabilización (Target Network, Experience Replay).
- Extensiones de DQN: Double DQN, Dueling DQN, Prioritized Experience Replay.
- Política Estocástica en espacios continuos: introducción a los métodos Actor-Critic.
- Actor-Critic Methods: descomposición del gradiente, función ventaja (A2C).
- Métodos de Actor-Critic Avanzados: A3C (Asynchronous Advantage Actor-Critic) y su arquitectura paralela.
- Policy Gradient directos: REINFORCE con y sin baseline.
- Introducción a métodos de máxima entropía (Soft Actor-Critic - SAC) y aprendizaje offline.
Aprendizaje esperado (Learning Outcomes)
- Entrenar agentes DQN en entornos complejos [Evaluar]
- Optimizar políticas con A3C [Usar]
- ES Español (Latinoamérica)

3.44.4.4. Ética, Seguridad y Aplicaciones en RL (12 horas) [Habilidades AG-C08,AG-C09] Volver arriba

Referencias Bibliográficas: (Sutton and Barto, 2018)
Temas
- Sesgos en el diseño de funciones de recompensa: especificación incorrecta, recompensas no alineadas y optimización de recompensas por hackeo (reward hacking).
- Desafíos de la generalización y robustez en agentes entrenados con RL.
- Seguridad en sistemas autónomos: evitación de fallos catastróficos, aprendizaje seguro (Safe RL) y alineación (AI Alignment).
- Casos de estudio: análisis de fallos en simulaciones y robots reales.
- Ataques adversarios en RL: ataques a los sensores, a la función de política y a la función de recompensa del agente.
- Implicaciones sociales: automatización, toma de decisiones y transparencia (agentes interpretables).
- Marcos éticos para el desarrollo y despliegue de agentes autónomos.
Aprendizaje esperado (Learning Outcomes)
- Identificar riesgos éticos en aplicaciones de RL [Familiarizarse]
- Proponer estrategias de mitigación [Usar]
- ES Español (Latinoamérica)

3.44.5. Referencias Bibliográficas Volver arriba

Sutton, R. and Barto, A. (2018). Reinforcement Learning: An Introduction. MIT Press.
Mnih, V., Kavukcuoglu, K., Silver, D., Rusu, A., Veness, J., Bellemare, M., Graves, A., Riedmiller, M., Fidjeland, A., Ostrovski, G., Petersen, S., Beattie, C., Sadik, A., Antonoglou, I., King, H., Kumaran, D., Wierstra, D., Legg, S., and Hassabis, D. (2015). Human-level control through deep reinforcement learning. Nature, 518:529–533.
Silver, D., Schrittwieser, J., Simonyan, K., Antonoglou, I., Huang, A., Guez, A., Hubert, T., Baker, L., Lai, M., Bolton, A., et al. (2017). Mastering the game of go without human knowledge. Nature, 550:354–359.