3.7.3 FDS/Teoría de la Información
Entropía de Shannon, información mutua, capacidad de canal, teoría de tasa-distorsión y aplicaciones al aprendizaje automático.
Temas:
Core
- Entropía de Shannon, entropía conjunta y condicional, y la regla de la cadena
- Información mutua, divergencia KL y la desigualdad de procesamiento de datos
- Capacidad de canal: teorema de codificación de canal ruidoso de Shannon y el canal binario simétrico
- Teoría de tasa-distorsión y el equilibrio entre compresión y fidelidad
- Fundamentos de teoría de la información en ML: MDL, inferencia variacional (ELBO) y el cuello de botella de la información
Aprendizaje esperado (Learning Outcomes):
Core:
- Calcular entropía de Shannon e información mutua para distribuciones discretas e interpretar su significado [Familiarizarse]
- Aplicar el teorema de capacidad de canal de Shannon para determinar la tasa máxima de transmisión confiable [Usar]
- Analizar un algoritmo de aprendizaje usando el principio del cuello de botella de la información y relacionar compresión con generalización [Evaluar]
Generado por Ernesto Cuadros-Vargas , Sociedad Peruana de Computación-Peru, basado en el modelo de la Computing Curricula de IEEE-CS/ACM
