N3: Reconstrucción 3D de humanos a partir de imágenes.

La estimación de la forma tridimensional de humanos a partir de imágenes o video es una tarea central para muchas aplicaciones, cubriendo áreas tales como AR/VR, telepresencia y entretenimiento, por nombrar algunas. Se trata de un desafío importante, ya que la recuperación de información 3D a partir de sensores 2D es esencialmente un problema ambiguo y mal condicionado. En el caso de humanos, la solución tradicional consiste en construir modelos estadísticos usando bases de datos de scans 3D (por ejemplo, de cuerpos o rostros), los cuales se ajustan luego a datos de la imágen tales como el color del pixel, puntos clave, siluetas, etc. Recientemente, los algoritmos de ajuste basados en optimización han sido reemplazados por métodos de regresión que aprovechan técnicas modernas de aprendizaje profundo, entrenando redes neuronales de forma supervisada o autosupervisada, mejorando de esta manera la performance ante situaciones difíciles así como el tiempo computacional requerido. Este curso ofrecerá una introducción y una visión general de las técnicas clásicas y actuales para la estimación de la estructura 3D de humanos a partir de imágenes o video, con especial atención a métodos que tratan específicamente el cuerpo y el rostro.

Modelos estadísticos de formas 3D. Ajuste de modelos a imágenes. Ajuste de modelos estadísticos a puntos clave, siluetas y señales RGB. Enfoques de aprendizaje profundo para cuerpos. Enfoques de aprendizaje profundo para rostros. Temas avanzados.

Se sugiere:
Conocimientos básicos de machine learning y redes neuronales (el curso no cubre una introducción a los mismos).
Conocimientos básicos de Álgebra lineal.
Conocimientos básicos de Python.

Blanz, Volker, and Thomas Vetter. "A morphable model for the synthesis of 3D faces." Proceedings of the 26th annual conference on Computer graphics and interactive techniques. (1999).

Loper, Matthew, et al. "SMPL: A skinned multi-person linear model." ACM transactions on graphics (TOG) 34.6 (2015): 1-16.

Egger, Bernhard, et al. "3D morphable face models—past, present, and future." ACM Transactions on Graphics (TOG) 39.5 (2020): 1-38.

Tian, Yating, et al. “Recovering 3D Human Mesh from Monocular Images: A Survey.” ArXiv, (2022).