Logo UAB
2019/2020

Optimització i Inferència per a la Visió per Computador

Codi: 43086 Crèdits: 6
Titulació Tipus Curs Semestre
4314099 Visió per Computador / Computer Vision OB 0 1

Professor/a de contacte

Nom:
Coloma Ballester Nicolau
Correu electrònic:
Desconegut

Utilització d'idiomes a l'assignatura

Llengua vehicular majoritària:
anglès (eng)

Equip docent

Joan Serrat Gual
Juan Francisco Garamendi Bragado
Karim Lekadir
Oriol Ramos Terrades

Prerequisits

Un grau en Enginyeria, Matemàtiques, Física o similar.

Objectius

L'objectiu d'aquest mòdul és  l’aprenentatge dels algoritmes d'optimització i les tècniques d'inferència que estan darrere de moltes tasques en la visió per computador. Els conceptes principals inclouran la formulació adecuada d'energies i la seva resolució, tècniques numèriques per problemes variacionals, algoritmes d'optimització de descens de gradient i eines útils per a estratègies d'aprenentatge profund. optimització convexa i models gràfics. Aquestes tècniques s'apliquen en el projecte en el context de la segmentació d'imatges i inpainting.

Competències

  • Assumir tasques de responsabilitat en la gestió de la informació i el coneixement.
  • Comprendre, analitzar i sintetitzar els coneixements avançats que hi ha en l'àrea, així com proposar idees innovadores.
  • Conceptualitzar alternatives de solucions complexes per a problemes de visió i crear prototips que demostrin la validesa del sistema proposat.
  • Identificar els conceptes i aplicar les tècniques fonamentals més adequades per resoldre els problemes bàsics de la visió per computador.
  • Planificar, desenvolupar, avaluar i gestionar solucions per a projectes en els diferents àmbits de la visió per computador.
  • Que els estudiants sàpiguin aplicar els coneixements adquirits i la seva capacitat de resolució de problemes en entorns nous o poc coneguts dins de contextos més amplis (o multidisciplinaris) relacionats amb la seva àrea d'estudi.
  • Que els estudiants tinguin les habilitats d'aprenentatge que els permetin continuar estudiant, en gran manera, amb treball autònom a autodirigit.
  • Seleccionar les eines de programari i els conjunts d'entrenament més adequats per desenvolupar les solucions per als problemes de visió per computador.
  • Tenir coneixements que aportin la base o l'oportunitat de ser originals en el desenvolupament o l'aplicació d'idees, sovint en un context de recerca.
  • Treballar en equips multidisciplinaris.

Resultats d'aprenentatge

  1. Assumir tasques de responsabilitat en la gestió de la informació i el coneixement.
  2. Comprendre, analitzar i sintetitzar els coneixements avançats que hi ha en l'àrea, així com proposar idees innovadores.
  3. Identificar els conceptes bàsics dels models gràfics i els algoritmes d'inferència.
  4. Identificar les millors representacions que es puguin definir per resoldre problemes tant d'optimització com d'inferència amb models gràfics.
  5. Identificar les tècniques bàsiques d'optimització i els algoritmes associats.
  6. Que els estudiants sàpiguin aplicar els coneixements adquirits i la seva capacitat de resolució de problemes en entorns nous o poc coneguts dins de contextos més amplis (o multidisciplinaris) relacionats amb la seva àrea d'estudi.
  7. Que els estudiants tinguin les habilitats d'aprenentatge que els permetin continuar estudiant, en gran manera, amb treball autònom a autodirigit.
  8. Seleccionar tècniques d'optimització i inferència i entrenar-les perquè solucionin un projecte concret.
  9. Tenir coneixements que aportin la base o l'oportunitat de ser originals en el desenvolupament o l'aplicació d'idees, sovint en un context de recerca.
  10. Treballar en equips multidisciplinaris.
  11. Utilitzar tècniques d'optimització i inferència per planificar, desenvolupar, avaluar i gestionar una solució per a un problema concret

Continguts

1. Introducció a problemes d’optimització i mètodes de minimització d’energia. Exemples i visió general d’una formulació variacional.

2. Repàs de l'àlgebra lineal computacional: mètodes de mínims quadrats, descomposició en valors singulars, pseudoinversa, mètodes iteratius. Aplicacions.

3. Tècniques numèriques per a problemes variacionals: derivada de Gateaux, equació d'Euler-Lagrange i mètodes de gradient. Aplicacions: denoising, inpainting d'imatges i Poisson editing. L’estratègia de Backpropagation per al càlcul de gradients. Algorismes d’optimització de descens per gradient útils per a estratègies  d’aprenentatge profund.

4. Optimització convexa. Optimització amb i sense restriccions. Principis i mètodes de la dualitat. Problemes no-convexos i relaxació convexa. Aplicacions: restauració per Variació Total, càlcul de disparitat, càlcul de flux òptic.

5. Segmentació amb models variacionals. El funcional de Mumford i Shah. Representacions de forma explícita i implícita. Formulació amb conjunts de nivell.

6. Xarxes Bayessianes i MRFs. Tipus d'Inferència. Principals algoritmes d'inferència. Exemples: stéreo, denoising.

7. Algorismes d'inferència. Belief propagation: message passing, loopy belief propagation. Exemple: inferència per a segmentació.

8. Structural learning. Exemple: contour labeling.

9. Mètodes de mostreig: Mètodes basats en partícules, Markov Chain Monte Carlo, Gibbs Sampling.

Metodologia

Methodology 

Supervised sessions: 

  • Lecture Sessions, where the lecturers will explain general contents about the topics. Some of them will be used to solve the problems.

Directed sessions:

  • Project Sessions, where the problems and goals of the projects will be presented and discussed, students will interact with the project coordinator about problems and ideas on solving the project (approx. 1 hour/week)

  • Presentation Session, where the students give an oral presentation about how they have solved the project and a demo of the results.

  • Exam Session, where the students are evaluated individually. Knowledge achievements and problem-solving skills

Autonomous work:

  • Student will autonomously study and work with the materials derived from the lectures.

  • Student will work in groups to solve the problems of the projects with deliverables:

  • Code

  • Reports

  • Oral presentations

Activities 

TYPE

ACTIVITY

HOURS

LEARNING OUTCOMES

Supervised

 

 

 

 

Project, Presentation and Exam Sessions

10

1, 2, 3, 4, 5, 6,7, 8, 9, 10, 11



Directed

 

 

 

 

Lecture Sessions

20

1, 2, 3



Autonomous

 

 

 

 

Homework

120

1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11

 

Activitats formatives

Títol Hores ECTS Resultats d'aprenentatge
Tipus: Dirigides      
Sessions teòriques 20 0,8 2, 3, 4, 5, 7, 8, 9, 11
Tipus: Supervisades      
Sessions de seguiment de projectes 8 0,32 1, 2, 3, 4, 5, 6, 7, 8, 10, 11
Tipus: Autònomes      
Treball autònom 113 4,52 1, 3, 4, 5, 6, 7, 8, 10

Avaluació

Avaluació

La  nota final d'aquest mòdul es calcula amb la següent formula:

Nota Final = 0.4 x Examen + 0.55 x Projecte+ 0.05 x Assistència

on, 

Examen:  és la nota obtinguda en l'examen final del mòdul (ha de ser >= 3)

Assistència: és la nota derivada de l'assistència a les sessions (mínim 70%)

Projecte: és la nota que posa el coordinador del projecte d'acord amb elsresultats delseguiment setmanal del projecte i de les entregues. Tot d'acord amb criteris específcis com ara: 

  •  Participació en les sessions de discusió i en el treball en equip (avaluació entre-membres)

  • Entrega de les parts obligatòries i opcionals del projecte.

  • Desenvolupament del codi (estil, comentaris, etc.)

  •  Informe (justificació de les decisions preses en el desenvolupament del projecte)

  • Presentació (Presentació i demostració del projecte desenvolupat)

Activitats d'avaluació

Títol

Hores

Pes

Resultats d'aprenentage

Assistència a sessions

  0,5                                                                      0,05

 8, 6, 4, 5, 1

Examen

2,5                                                                            0,4

0,4

1, 2, 3, 6, 7, 8, 9, 10

Projecte

6                                                                            0,55

0,55

1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11

Activitats d'avaluació

Títol Pes Hores ECTS Resultats d'aprenentatge
Assistència a sessions 0,05 0,5 0,02 1, 2, 7, 9, 10
Exàmen 0,4 2,5 0,1 2, 3, 4, 5, 6, 9
Projecte 0,55 6 0,24 1, 3, 4, 5, 6, 7, 8, 10, 11

Bibliografia

Journal articles:

  1. Xavier Bresson and Tony F. Chan. “Fast Dual Minimization of the Vectorial Total Variation Norm and Applications to Color Image Processing. Inverse Problems and Imaging”. American Institue of Mathematical Sciences. Vol 2, No. 4, pp 455-484 2008.

  2. Chan, T. F., & Vese, L. a. “Active contours without edges”. IEEE Transactions on Image Processing : A Publication of the IEEE Signal Processing Society, 10(2), pp 266–77, 2001.

  3. Daphne Koller and Nir Friedman, "Probablistic Graphical Models. Principles and techniques", 2009.

  4. Patrick Pérez, Michel Gangnet, and Andrew Blake. “Poisson image editing”. In ACM SIGGRAPH 2003 Papers (SIGGRAPH '03). ACM, New York, NY, USA, 313-318 2003.

  5. L.I. Rudin, S. Osher, and E. Fatemi. “Nonlinear Total Variation based Noise Removal Algorithms”. Physical D Nonlinear Phenomena, 60, pp 259-268, November 1992.

6. Ruder, Sebastian. "An overview of gradient descent optimization algorithms." arXiv preprint arXiv:1609.04747(2016).

Books:

  1. S.P. Boyd, L. Vandenberghe, "Convex optimization",  Cambridge University Press, 2004.

  2. Tony F. Chan and Jianhong Shen. “Image Processing and Analysis: Variational, PDE, Wavelet and Stochastic Methods”. Society for Industrial and Applied Mathematics, 2005.

  3. J. Nocedal, S.J. Wright, “Numerical optimization”, Springer Verlag, 1999.

  4. Aubert Gilles, Pierre Kornprobst.  “Mathematical Problems in Image Processing:  Partial Differential Equations and the Calculus of Variations”.  Springer-Verlag New York.

  5. Joe D. Hoffman. “Numerical Methods for Engineers and Scientists“

  6. Daphne Koller and Nir Friedman, "Probablistic Graphical Models. Principles and techniques", 2009.

  7. Sebastian Nowozin and Christoph H. Lampert, "Structured Learning and Prediction in Computer Vision", Foundations and Trends in Computer Graphics and Vision: Vol. 6: No. 3-4, pp 185-365, 2011.

  8. C. Pozrikidis. “Numerical Computation in Science and Engineering”.