Logo UAB
2020/2021

Optimización e Inferencia para la Visión por Computador

Código: 43086 Créditos ECTS: 6
Titulación Tipo Curso Semestre
4314099 Visión por Computador / Computer Vision OB 0 1
La metodología docente y la evaluación propuestas en la guía pueden experimentar alguna modificación en función de las restricciones a la presencialidad que impongan las autoridades sanitarias.

Contacto

Nombre:
Maria Vanrell Martorell
Correo electrónico:
Maria.Vanrell@uab.cat

Uso de idiomas

Lengua vehicular mayoritaria:
inglés (eng)

Equipo docente

Coloma Ballester Nicolau
Juan Francisco Garamendi Bragado
Karim Lekadir
Oriol Ramos Terrades

Equipo docente externo a la UAB

Adrián Martín

Prerequisitos

Un grado en Ingeniería, Matemáticas, Física o similar.

Objetivos y contextualización

Coordinadora del módulo: Dra. Coloma Ballester

El objetivo de este módulo es el aprendizaje de los algoritmos de optimización y las técnicas de inferencia que están detrás de muchas tareas en la visión por computadora. Los conceptos principales incluirán la formulación adecuada de energías variacionals y su minimización, técnicas numéricas para problemas variacionales, algoritmos de optimización de descenso de gradiente y herramientas útiles para estrategias de aprendizaje profundo. optimización convexa y modelos gráficos. Estas técnicas se aplicarán en el proyecto en el contexto de la segmentación de imágenes y inpainting.

Competencias

  • Asumir tareas de responsabilidad en la gestión de la información y el conocimiento.
  • Comprender, analizar y sintetizar los conocimientos avanzados que existen en el área, así como proponer ideas innovadoras.
  • Conceptualizar alternativas de soluciones complejas a problemas de visión y crear prototipos que demuestren la validez del sistema propuesto.
  • Identificar los conceptos y aplicar las técnicas fundamentales más adecuadas para la solución de los problemas básicos de la visión por computador.
  • Planificar, desarrollar, evaluar y gestionar soluciones a proyectos en los diferentes ámbitos de la visión por computador.
  • Poseer y comprender conocimientos que aporten una base u oportunidad de ser originales en el desarrollo y/o aplicación de ideas, a menudo en un contexto de investigación.
  • Que los estudiantes posean las habilidades de aprendizaje que les permitan continuar estudiando de un modo que habrá de ser en gran medida autodirigido o autónomo.
  • Que los estudiantes sepan aplicar los conocimientos adquiridos y su capacidad de resolución de problemas en entornos nuevos o poco conocidos dentro de contextos más amplios (o multidisciplinares) relacionados con su área de estudio.
  • Seleccionar las herramientas software y los conjuntos de entrenamiento más adecuados para desarrollar las soluciones a los problemas de visión por computador.
  • Trabajar en equipos multidisciplinares.

Resultados de aprendizaje

  1. Asumir tareas de responsabilidad en la gestión de la información y el conocimiento.
  2. Comprender, analizar y sintetizar los conocimientos avanzados que existen en el área, así como proponer ideas innovadoras.
  3. Identificar las mejores representaciones que se puedan definir para la resolución de problemas tanto de optimización como de inferencia con modelos gráficos.
  4. Identificar las técnicas básicas de optimización y los algoritmos asociados.
  5. Identificar los conceptos básicos de los modelos gráficos y los algoritmos de inferencia.
  6. Poseer y comprender conocimientos que aporten una base u oportunidad de ser originales en el desarrollo y/o aplicación de ideas, a menudo en un contexto de investigación.
  7. Que los estudiantes posean las habilidades de aprendizaje que les permitan continuar estudiando de un modo que habrá de ser en gran medida autodirigido o autónomo.
  8. Que los estudiantes sepan aplicar los conocimientos adquiridos y su capacidad de resolución de problemas en entornos nuevos o poco conocidos dentro de contextos más amplios (o multidisciplinares) relacionados con su área de estudio.
  9. Seleccionar técnicas de optimización e inferencia y entrenarlas para que solucionen un proyecto concreto.
  10. Trabajar en equipos multidisciplinares.
  11. Usar técnicas de optimización e inferencia para planificar, desarrollar, evaluar y gestionar una solución a un problema concreto.

Contenido

  1. Introducción a los problemas de optimización y métodos de minimización de energía. Ejemplos y resumen de una formulación variacional.

  2. Revisión del álgebra lineal computacional: métodos de mínimos cuadrados, descomposición en valores singulares, pseudoinversa, métodos iterativos. Aplicaciones. 

  3. Técnicas numéricas para problemas variacionales: derivada de Gateaux, ecuación de Euler-Lagrange y métodos de gradiente. Aplicaciones: eliminación de ruido, inpainting y Poisson editing. La estrategia de Backpropagation para el cálculo de gradiente. Algoritmos de optimización de descenso de gradiente útiles para estrategias de aprendizaje profundo.

  4. Optimización convexa. Optimización con y sin restricciones. Principios y métodos de dualidad. Problemas no convexos y relajación convexa. Aplicaciones: restauración por Variación Total, cálculo de disparidad, cálculo de flujo óptico.

  5. Segmentación con modelos variacionales. El funcional de Mumford y Shah. Representaciones de forma explícita e implícita. Formulación con conjuntos de nivel.

  6. Redes Bayesianas y MRF. Tipos de inferencia. Principales algoritmos de inferencia. Ejemplos: estéreo, denoising.

  7. Algoritmos de inferencia. Belief propagation: message passing, loopy belief propagation. Ejemplo: inferencia para segmentación.

  8. Métodos de muestreo: Métodos basados en partículas, Markov Chain Monte Carlo, Gibbs Sampling.

Metodología

Sesiones supevisadas: (Sesiones en línea síncronas)

  • Sesiones magistrales, donde los profesores explicarán contenidos generales de los diferentes temas. La mayoria seran necesarios para la resolución de problemas.

Sesiones dirigidas: (Sesiones en línea síncronas)

  • Sesiones de proyecto, donde los objetivos y problemas de los proyectos se presentarán y discutirán. Los estudiantes deberan interactuar con el coordinador de proyecto sobre los problemas surgidos y las ideas aportadas para resorverlos.  (Approx. 1 hora/semana)
  • Sesiones de presentación, donde los estudiantes harán una presentación oral sobre como han solucionado el probema y sobre los resultados obtenidos.
  • Sesión de examen, donde los estudiantes son evaluados individualmente, demostrando la adquisición de los conocimientos desarrollados y la capacidad de resolución de problemas asociados.

Trabajo autónomo:

  • Los estudiantes deberan estudiar y trabajar autonomamente con los materiales derivados de las clases magistrales y de las sesiones de proyecto.
  • Los estudiantes trabajaran en grupo para resolver los problemas planlteados en los proyectos con los siguientes entregables:
    • Código
    • Informe
    • Presentación oral

Actividades

Título Horas ECTS Resultados de aprendizaje
Tipo: Dirigidas      
Sesiones teóricas 20 0,8 2, 5, 3, 4, 7, 9, 6, 11
Tipo: Supervisadas      
Sesiones de seguimiento de proyecto 8 0,32 1, 2, 5, 3, 4, 8, 7, 9, 10, 11
Tipo: Autónomas      
Trabajo autónomo 113 4,52 1, 5, 3, 4, 8, 7, 9, 10

Evaluación

La nota final se calculará mediante la seguiente fórmula :

Nota final = 0.4 x Examen + 0.55 x Proyecto + 0.05 x Asistencia

donde

Examen: es la nota obtenida del examen. Puede ser incrementada con puntos extra correspondientes a los exercicis propuestos en les clases de algunos temas, pero sólo si la nota de examen es com a mínimo 3.0.

Asistencia: nota derivada del control de asistencia a les clases (mínimo 70%)

Proyecto: nota otorgada por coordinador del proyecto basada en el seguimiento que hace semanalmente y en las entregas del proyecto. Todo ello de acuerdo con criterios específicos como :

  • Participación y discusión en les sessions y trabajo en grupo (evaluaciones entre pares)
  • Entregas de partes obligatorias y opcionales
  • Código desarrollado (estilo, comentarios, etc.)
  • Informe escrito (justificación de las decisiones de desarrollo)
  • Presentación oral y demostración

La nota del examen se podrá incrementar con puntos extra obtenidos de la entrega de ejercicios propuestos en relación a algunas de las clases, pero sólo en el caso que la nota del examen sea superior o igual a 3.

Sólo los estudiantes que han suspendido (nota final < 5.0) podran hacer el examen de recuperación.

Actividades de evaluación

Título Peso Horas ECTS Resultados de aprendizaje
Asistencia a sesiones 0,05 0,5 0,02 1, 2, 7, 6, 10
Examen 0,4 2,5 0,1 2, 5, 3, 4, 8, 6
Proyecto 0,55 6 0,24 1, 5, 3, 4, 8, 7, 9, 10, 11

Bibliografía

Journal articles:

  1. Xavier Bresson and Tony F. Chan. “Fast Dual Minimization of the Vectorial Total Variation Norm and Applications to Color Image Processing. Inverse Problems and Imaging”. American Institue of Mathematical Sciences. Vol 2, No. 4, pp 455-484 2008.
  2. Chan, T. F., & Vese, L. a. “Active contours without edges”. IEEE Transactions on Image Processing : A Publication of the IEEE Signal Processing Society, 10(2), pp 266–77, 2001.
  3. Daphne Koller and Nir Friedman, "Probablistic Graphical Models. Principles and techniques", 2009.
  4. Patrick Pérez, Michel Gangnet, and Andrew Blake. “Poisson image editing”. In ACM SIGGRAPH 2003 Papers (SIGGRAPH '03). ACM, New York, NY, USA, 313-318 2003.
  5. 5. L.I. Rudin, S. Osher, and E. Fatemi. “Nonlinear Total Variation based Noise Removal Algorithms”. Physical D Nonlinear Phenomena, 60, pp 259-268, November 1992.
  6. 6. Ruder, Sebastian. "An overview of gradient descent optimization algorithms." arXiv preprint arXiv:1609.04747(2016).

Books:

  1. S.P. Boyd, L. Vandenberghe, "Convex optimization",  Cambridge University Press, 2004.
  2. Tony F. Chan and Jianhong Shen. “Image Processing and Analysis: Variational, PDE, Wavelet and Stochastic Methods”. Society for Industrial and Applied Mathematics, 2005.
  3. J. Nocedal, S.J. Wright, “Numerical optimization”, Springer Verlag, 1999.
  4. Aubert Gilles, Pierre Kornprobst.  “Mathematical Problems in Image Processing:  Partial Differential Equations and the Calculus of Variations”.  Springer-Verlag New York.
  5. Joe D. Hoffman. “Numerical Methods for Engineers and Scientists
  6. Daphne Koller and Nir Friedman,"Probablistic Graphical Models. Principles and techniques", 2009.
  7. Sebastian Nowozin and Christoph H. Lampert, "Structured Learning and Prediction in Computer Vision", Foundations and Trends in Computer Graphics and Vision: Vol. 6: No. 3-4, pp185-365, 2011.
  8. C. Pozrikidis. “Numerical Computation in Science and Engineering”.