The courses are taught in Spanish, accordingly, some of the following content will be in that language. Click to go straight to the course contents for Statistics, Machine Learning and Advanced Machine Learning.

Estadística: Teoría y Aplicaciones (2019 & 2020)

Descripción del curso:

El propósito del curso es introducir a los estudiantes a los fundamentos y herramientas de la estadística. Para estos fines el curso abarca resultados y formalismos de la estadística clásica, así como resultados y herramientas de la estadística moderna. El enfoque es matemáticamente riguroso, lo cual permite que el estudiante comprenda en profundidad los contenidos formales del programa. Adicionalmente, el curso tiene complementos prácticos que aseguran que los estudiantes puedan diseñar e implementar soluciones estadísticas a problemas que impliquen el procesamiento de datos reales masivos. Partiendo con una revisión general de los alcances de la estadística, este curso cubre en profundidad las nociones fundamentales de los enfoques frecuentistas y bayesianos de la teoría estadística. Posteriormente, se revisan distintas herramientas estadísticas que le permitirán al estudiante abordar problemas reales de la ingeniería, de las ciencias exactas, de la industria e incluso otras disciplinas como la medicina y ciencias sociales. Estas herramientas incluyen teoría de decisión, series de tiempo, modelos no lineales y predicción.

Contenidos:

  1. Introducción a la Estadística (2 semanas)
    • Definición y contexto
      • ¿Por qué estadística?
      • Enfoques estadísticos
      • Estadística vs probabilidades, ciencia d datos y machine learning
    • Repaso de probabilidades
      • Notación
      • Distribuciones
      • Teoremas, convergencia y desigualdades
    • Modelos estadísticos
      • La familia exponencial
      • Ejemplos: Poisson, Binomial, Normal
      • Construcción mediante transformaciones,
      • Valores esperados
  2. Estadística frecuentista (5 semanas)
    • Estadísticos
      • Suficiencia
      • Verosimilitud
    • Estimación
      • Mínimos cuadrados
      • Gauss-Markov, BLUEa) Mínimos cuadrados
      • Máxima verosimilitud
      • Minima varianza (MVUE)
      • Cramer-Rao
      • Rao-Blackwell
      • Método de los momentos
    • Intervalos de confianza
      • Via desigualdad
      • Inversión de tests
      • Pivotes
      • Large Sample
      • Tests vs intervalos de confianza
    • Test de hipótesis
      • Hipótesis nula y alternativa
      • p-valores
      • Tests: Neyman-Pearson/Chi^2/Student’s T/Wald’s/Likelihood ratio
      • Bondad de ajuste
  3. Estadística bayesiana (4 semanas)
    • Conceptos fundamentales
      • Frecuentista vs bayesiano
      • Probabilidad como medida de incertidumbre
      • Teo. de Bayes, prior y posterior
      • ¿Por qué ser bayesiano?
    • Inferencia Bayesiana
      • Priors no informativas
      • Conjugadas
      • Intervalos de confianza
      • Evaluación y promedio de modelos
      • Aproximación de Laplace
      • Modelos jerárquicos y de variable latente
      • Test de hipótesis revisitado
    • Inferencia aproximada
      • Expectation-Maximization
      • Aproximaciones variacionales
      • Métodos de Monte Carlo
  4. Métodos (4 semanas)
    • Teoría de Decisión
      • Problemas: estimación, test, ranking y predicción
      • Elementos: espacio de estado, pérdida, procedimiento y riesgo
      • Ejemplos: tipos de errores, VaR e intervalos
      • Riesgo de Bayes, minimax
    • Predicción
      • Predictor óptimo
      • Regresión, caso bi- y multi-variado
      • Modelos lineales
      • Proyecciones y espacios de Hilbert
      • Regresión no paramétrica (usar o no infinitos? parámetros)
      • Clasificación
    • Análisis de componentes principales
    • Series de tiempo
      • Tiempo discreto y continuo
      • Modelos AR
      • Representación espectral
    • Modelos lineales generalizados
      • Distribuciones continuas y discretas
      • Regresión logística

Bibliografía:

Machine Learning (2015, 2016, 2017, 2018, 2019, 2020, 2021)

Repositorio con el material del curso (notas de clase, tareas, demostraciones, etc).

Descripción del curso:

Este curso enseña los fundamentos teóricos del aprendizaje de máquinas (AM) y su importancia en relación con otras ramas que requieren análisis de datos determinísticos. Al final del curso, el alumno deberá conocer la justificación detrás de modelos estándar de AM desde el álgebra lineal, optimización, probabilidades, estadística, y análisis funcional. En particular, se le dará énfasis al enfoque probabilístico al AM, se revisarán conceptos cómo máxima verosimilitud, máximo a posteriori, y estimación Bayesiana, tanto para modelos paramétricos como no-paramétricos. El alumno también aprenderá la diferencia entre inferencia exacta y aproximada desde puntos de vista teóricos y aplicados. Finalmente, el alumno deberá implementar las herramientas aprendidas a datos reales en problemas de regresión, predicción, clasificación, selección de modelos y reducción de dimensionalidad.

Contenidos:

  1. Contexto (1.5 semanas)
    • Introducción
      • Inteligencia Artificial, fundamentos filosóficos, agentes [IAMA, MA]
      • Sistemas experto versus automatización [IAMA]
      • Definición de aprendizaje [LFD, ISL]
      • Ejemplo: Ajuste de curvas polinomiales
      • Aplicaciones reales y motivación
    • Definición de Aprendizaje de Máquinas [IAMA cap18]
      • Taxonomía: Aprendizaje supervisado, no-supervisado, semi- supervisado, reforzado [LFD]
      • Sobreajuste / subajuste [LFD, ISL]
      • Entrenamiento, validación y test [LFD, ISL]
      • Navaja de Occam y sesgo de muestreo [LFD]
    • Aprendizaje mediante inferencia probabilística [BDA]
      • Inferencia bayesiana
      • Modelos generativos
      • Ejemplo: un modelo de un parámetro
      • Nota histórica: Bayes y Laplace
  2. Regresión: inferencia exacta y aproximada (3 semanas)
    • Modelo lineal [ISL]
    • Regularización mediante elección de distribución a priori
    • Regresión no lineal: polinomial, escalones, bases, splines [ISL]
    • Modelos lineales generalizados [MLPP, ISL]
    • Modelos jerárquicos [BDA]
    • Altas dimensiones [ISL] y curse of dimensionality [MLPR]
    • Regresión logística [MLPP]
    • Aproximación de Laplace
    • Nota sobre métodos de Monte Carlo [MLPP]
  3. Selección y promedio de modelos [MSMA] (1 semana)
    • Selección: Akaike IC, Bayesian IC, Negative log-predictive distribution [BDA, ESL (ch7)]
    • Promedio: Maximizar versus integrar: enfoque bayesiano versus determinista [ITILA]
  4. Clasificación (2.5 semana)
    • K-vecinos más cercanos [ISL]
    • Naive Bayes [ISL]
    • Teoría de Aprendizaje estadístico: La dimensión de Vapnik-Chervonenkis [ISL, LFD, ESL] [ISL]
    • Máquinas de soporte vectorial [LWK]
  5. Redes neuronales [ISL, MLPR, DL] (2 semanas)
    • Definición, perceptrón, adaline
    • Backpropagation, tipos de redes (CNN, RNN, FFNN)
    • Heurísticas
    • Autoencoders y redes generativas adversariales
    • Deep Learning
    • Bayesian Deep Learning [UDL]
  6. Procesos gaussianos [GPML] (2 semanas)
    • Construcciones: suma infinita de funciones bases, perceptrón de una capa infinitamente ancho, teorema de consistencia de Kolmogorov
    • Diseño de un GP: Función de media y kernel de covarianza
    • Representación espectral
    • Entrenamiento y complejidad computacional
    • Sparse GPs
  7. Reducción de dimensionalidad (1 semana)
    • Análisis de componentes principales: lineal, probabilístico y de kernel
    • LDA/ANOVA/ICA
  8. Clustering (2 semanas)
    • K-medias
    • DBSCAN: Density-based spatial clustering of applications with noise
    • Kernel density estimation [MLPP]
    • Mezcla de gaussianas: El algoritmo expectation maximisation [MLPP]
    • Nota sobre inferencia variacional [VI, MLPP]

Bibliografía:

Advanced Machine Learning (2016, 2018, 2020)

Descripción del curso:

Este curso enseña técnicas avanzadas de aprendizaje de máquinas, relacionadas con computación científica, modelos no paramétricos e inferencia aproximada. El enfoque teórico del curso es basado probabilidades y optimización, mientras que el aspecto práctico considera programación en Python. Al final del curso, el alumno deberá conocer el estado del arte en aprendizaje de máquinas y deberá ser capaz de aplicar las herramientas aprendidas a un problema real de la industria o su propia investigación.

Contenidos:

  1. Advanced scientific computing
    • PyTorch
      • Numpy, Scipy, Pandas, Scikit-Learn
      • Fundamentals: tensors
      • Variables and gradients
      • Regression examples
      • CNN, RNNs and LSTMs
    • Pyro
      • Models and distributions
      • Inference
      • examples
  2. Graphical models
    • Structured representations
    • Directed and undirected graphs
    • Inference and marginalisation
    • Learning
    • Bayesian networks
    • Applications
  3. Bayesian nonparametrics
    • Motivation
    • Dirichlet process
    • Stick-breaking construction
    • Chinese restaurant process
    • Indian buffet process
    • Infinite hidden Markov model
    • Hierarchical BNP
  4. Approximate inference I: Monte Carlo
    • Sampling techniques
    • MCMC: Metropolis and Gibbs
    • Transdimensional MCMC
    • Hybrid MC
    • Slice sampling
    • Particle filters
  5. Approximate inference II: Variational Inference
    • Problem statement
    • Laplace & Expectation Maximisation
    • Evidence lower bound
    • The mean-field variational family
    • Coordinate ascent VI
    • Example: Bayesian mixture of Gaussians
    • VI with exponential families
    • Stochastic VI
    • Black-box VI
  6. Computational Optimal Transport
    • Theoretical foundations
    • Algorithmics
    • Wasserstein PCA
    • Entropic regularisation: Sinkhorn
    • Empirical Barycentres
    • Applications
  7. Gaussian Processes
    • Constructions: Kolmogorov, RBFs and NNs
    • Sparse GPs: SOR, FITC, PITC, VI
    • Kernel design
    • Multioutput GPs
    • GP latent variable model
    • Deep GPs
    • Bayesian spectral estimation
  8. Bayesian Optimisation
    • Motivation and problem statement
    • Acquisition functions
    • Application