Logo UAB
2019/2020

Optimización e Inferencia para la Visión por Computador

Código: 43086 Créditos ECTS: 6
Titulación Tipo Curso Semestre
4314099 Visión por Computador / Computer Vision OB 0 1

Contacto

Nombre:
Coloma Ballester Nicolau
Correo electrónico:
Desconegut

Uso de idiomas

Lengua vehicular mayoritaria:
inglés (eng)

Equipo docente

Joan Serrat Gual
Juan Francisco Garamendi Bragado
Karim Lekadir
Oriol Ramos Terrades

Prerequisitos

Un grado en Ingeniería, Matemáticas, Física o similar.

Objetivos y contextualización

El objetivo de este módulo es el aprendizaje de los algoritmos de optimización y las técnicas de inferencia que están detrás de muchas tareas en la visión por computadora. Los conceptos principales incluirán la formulación adecuada de energías variacionals y su minimización, técnicas numéricas para problemas variacionales, algoritmos de optimización de descenso de gradiente y herramientas útiles para estrategias de aprendizaje profundo. optimización convexa y modelos gráficos. Estas técnicas se aplicarán en el proyecto en el contexto de la segmentación de imágenes y inpainting.

Competencias

  • Asumir tareas de responsabilidad en la gestión de la información y el conocimiento.
  • Comprender, analizar y sintetizar los conocimientos avanzados que existen en el área, así como proponer ideas innovadoras.
  • Conceptualizar alternativas de soluciones complejas a problemas de visión y crear prototipos que demuestren la validez del sistema propuesto.
  • Identificar los conceptos y aplicar las técnicas fundamentales más adecuadas para la solución de los problemas básicos de la visión por computador.
  • Planificar, desarrollar, evaluar y gestionar soluciones a proyectos en los diferentes ámbitos de la visión por computador.
  • Poseer y comprender conocimientos que aporten una base u oportunidad de ser originales en el desarrollo y/o aplicación de ideas, a menudo en un contexto de investigación.
  • Que los estudiantes posean las habilidades de aprendizaje que les permitan continuar estudiando de un modo que habrá de ser en gran medida autodirigido o autónomo.
  • Que los estudiantes sepan aplicar los conocimientos adquiridos y su capacidad de resolución de problemas en entornos nuevos o poco conocidos dentro de contextos más amplios (o multidisciplinares) relacionados con su área de estudio.
  • Seleccionar las herramientas software y los conjuntos de entrenamiento más adecuados para desarrollar las soluciones a los problemas de visión por computador.
  • Trabajar en equipos multidisciplinares.

Resultados de aprendizaje

  1. Asumir tareas de responsabilidad en la gestión de la información y el conocimiento.
  2. Comprender, analizar y sintetizar los conocimientos avanzados que existen en el área, así como proponer ideas innovadoras.
  3. Identificar las mejores representaciones que se puedan definir para la resolución de problemas tanto de optimización como de inferencia con modelos gráficos.
  4. Identificar las técnicas básicas de optimización y los algoritmos asociados.
  5. Identificar los conceptos básicos de los modelos gráficos y los algoritmos de inferencia.
  6. Poseer y comprender conocimientos que aporten una base u oportunidad de ser originales en el desarrollo y/o aplicación de ideas, a menudo en un contexto de investigación.
  7. Que los estudiantes posean las habilidades de aprendizaje que les permitan continuar estudiando de un modo que habrá de ser en gran medida autodirigido o autónomo.
  8. Que los estudiantes sepan aplicar los conocimientos adquiridos y su capacidad de resolución de problemas en entornos nuevos o poco conocidos dentro de contextos más amplios (o multidisciplinares) relacionados con su área de estudio.
  9. Seleccionar técnicas de optimización e inferencia y entrenarlas para que solucionen un proyecto concreto.
  10. Trabajar en equipos multidisciplinares.
  11. Usar técnicas de optimización e inferencia para planificar, desarrollar, evaluar y gestionar una solución a un problema concreto.

Contenido

  1. Introducción a los problemas de optimización y métodos de minimización de energía. Ejemplos y resumen de una formulación variacional.

  2. Revisión del álgebra lineal computacional: métodos de mínimos cuadrados, descomposición en valores singulares, pseudoinversa, métodos iterativos. Aplicaciones. 

  3. Técnicas numéricas para problemas variacionales: derivada de Gateaux, ecuación de Euler-Lagrange y métodos de gradiente. Aplicaciones: eliminación de ruido, inpainting y Poisson editing. La estrategia de Backpropagation para el cálculo de gradiente. Algoritmos de optimización de descenso de gradiente útiles para estrategias de aprendizaje profundo.

  4. Optimización convexa. Optimización con y sin restricciones. Principios y métodos de dualidad. Problemas no convexos y relajación convexa. Aplicaciones: restauración por Variación Total, cálculo de disparidad, cálculo de flujo óptico.

  5. Segmentación con modelos variacionales. El funcional de Mumford y Shah. Representaciones de forma explícita e implícita. Formulación con conjuntos de nivel.

  6. Redes Bayesianas y MRF. Tipos de inferencia. Principales algoritmos de inferencia. Ejemplos: estéreo, denoising.

  7. Algoritmos de inferencia. Belief propagation: message passing, loopy belief propagation. Ejemplo: inferencia para segmentación.

  8. Structural learning. Ejemplo: contour labeling.

  9. Métodos de muestreo: Métodos basados en partículas, Markov Chain Monte Carlo, Gibbs Sampling.

Metodología

Methodology 

Supervised sessions:

  • Lecture Sessions, where the lecturers will explain general contents about the topics. Some of them will be used to solve the problems.

 

Directed sessions:

  • Project Sessions, where the problems and goals of the projects will be presented and discussed, students will interact with the project coordinator about problems and ideas on solving the project (approx. 1 hour/week)

  • Presentation Session, where the students give an oral presentation about how they have solved the project and a demo of the results.

  • Exam Session, where the students are evaluated individually. Knowledge achievements and problem-solving skills

 

Autonomous work:

  • Student will autonomously study and work with the materials derived from the lectures.

  • Student will work in groups to solve the problems of the projects with deliverables:

  • Code

  • Reports

  • Oral presentations

Activities

TYPE

ACTIVITY

HOURS

LEARNING OUTCOMES

Supervised

 

 

 

 

Project, Presentation and Exam Sessions

10

1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11



Directed

 

 

 

 

Lecture Sessions

20

1, 2, 3



Autonomous

 

 

 

 

Homework

120

1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11

 

Actividades

Título Horas ECTS Resultados de aprendizaje
Tipo: Dirigidas      
Sesiones teóricas 20 0,8 2, 5, 3, 4, 7, 9, 6, 11
Tipo: Supervisadas      
Sesiones de seguimiento de proyecto 8 0,32 1, 2, 5, 3, 4, 8, 7, 9, 10, 11
Tipo: Autónomas      
Trabajo autónomo 113 4,52 1, 5, 3, 4, 8, 7, 9, 10

Evaluación

Evaluación

La nota final de este módulo se calcula con la siguiente fórmula:

Nota Final = 0.4 x Examen + 0.55 x Proyecto+ 0.05 x Asistencia

donde,

Examen:  es la nota obtenida en el examen final del módulo (tiene que ser >= 3)

Asistencia: es la nota derivada de la asistencia a las sesiones (mínimo 70%)

Projecto: 

es la nota que pone el coordinador del proyecto de acuerdo con los resultados del seguimiento semanal del proyecto y de las entregas. Todo de acuerdo con criterios específicos, tales como:

  •  Participación en les sesiones de discusión y en el trabajo en equipo (evaluación entre-miembros)

  • Entrega de las partes obligatorias y opcionales del proyecto.

  • Desarrollo del código (estilo, comentarios, etc.)

  • Informe (justificación de las decisiones tomadas en el desarrollo del proyecto)

  • Presentación (Presentación y demostración del proyecto desarrollado)    

Evaluation activities

Título

Horas

Peso

Resultados de aprendizaje

Asistencia a sesiones

 0,5                                                                      0,05

8, 6, 4, 5, 1

Examen

 2,5                                                                        0,4  

0,4

1, 2, 3, 6, 7, 8, 9, 10

Proyecto

6                                                                         0,55

0,55

1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11

Actividades de evaluación

Título Peso Horas ECTS Resultados de aprendizaje
Asistencia a sesiones 0,05 0,5 0,02 1, 2, 7, 6, 10
Examen 0,4 2,5 0,1 2, 5, 3, 4, 8, 6
Proyecto 0,55 6 0,24 1, 5, 3, 4, 8, 7, 9, 10, 11

Bibliografía

Journal articles:

  1. Xavier Bresson and Tony F. Chan. “Fast Dual Minimization of the Vectorial Total Variation Norm and Applications to Color Image Processing. Inverse Problems and Imaging”. American Institue of Mathematical Sciences. Vol 2, No. 4, pp 455-484 2008.

  2. Chan, T. F., & Vese, L. a. “Active contours without edges”. IEEE Transactions on Image Processing : A Publication of the IEEE Signal Processing Society, 10(2), pp 266–77, 2001.

  3. Daphne Koller and Nir Friedman, "Probablistic Graphical Models. Principles and techniques", 2009.

  4. Patrick Pérez, Michel Gangnet, and Andrew Blake. “Poisson image editing”. In ACM SIGGRAPH 2003 Papers (SIGGRAPH '03). ACM, New York, NY, USA, 313-318 2003.

5. L.I. Rudin, S. Osher, and E. Fatemi. “Nonlinear Total Variation based Noise Removal Algorithms”. Physical D Nonlinear Phenomena, 60, pp 259-268, November 1992.

6. Ruder, Sebastian. "An overview of gradient descent optimization algorithms." arXiv preprint arXiv:1609.04747(2016).

Books:

  1. S.P. Boyd, L. Vandenberghe, "Convex optimization",  Cambridge University Press, 2004.

  2. Tony F. Chan and Jianhong Shen. “Image Processing and Analysis: Variational, PDE, Wavelet and Stochastic Methods”. Society for Industrial and Applied Mathematics, 2005.

  3. J. Nocedal, S.J. Wright, “Numerical optimization”, Springer Verlag, 1999.

  4. Aubert Gilles, Pierre Kornprobst.  “Mathematical Problems in Image Processing:  Partial Differential Equations and the Calculus of Variations”.  Springer-Verlag New York.

  5. Joe D. Hoffman. “Numerical Methods for Engineers and Scientists“

  6. Daphne Koller and Nir Friedman, "Probablistic Graphical Models. Principles and techniques", 2009.

  7. Sebastian Nowozin and Christoph H. Lampert, "Structured Learning and Prediction in Computer Vision", Foundations and Trends in Computer Graphics and Vision: Vol. 6: No. 3-4, pp185-365, 2011.

  8. C. Pozrikidis. “Numerical Computation in Science and Engineering”.