Optimització i Inferència per a la Visió per Computador
Codi: 43086 Crèdits: 6| Titulació | Tipus | Curs | Semestre |
|---|---|---|---|
| 4314099 Visió per Computador / Computer Vision | OB | 0 | 1 |
Professor/a de contacte
- Nom:
- Maria Vanrell Martorell
- Correu electrònic:
- Maria.Vanrell@uab.cat
Utilització d'idiomes a l'assignatura
- Llengua vehicular majoritària:
- anglès (eng)
Equip docent
- Coloma Ballester Nicolau
- Juan Francisco Garamendi Bragado
- Karim Lekadir
- Oriol Ramos Terrades
Equip docent extern a la UAB
- Adrián Martín
Prerequisits
Un grau en Enginyeria, Matemàtiques, Física o similar.
Objectius
Coordinadora del mòdul: Dra. Coloma Ballester
L'objectiu d'aquest mòdul és l’aprenentatge dels algoritmes d'optimització i les tècniques d'inferència que estan darrere de moltes tasques en la visió per computador. Els conceptes principals inclouran la formulació adecuada d'energies i la seva resolució, tècniques numèriques per problemes variacionals, algoritmes d'optimització de descens de gradient i eines útils per a estratègies d'aprenentatge profund. optimització convexa i models gràfics. Aquestes tècniques s'apliquen en el projecte en el context de la segmentació d'imatges i inpainting.
Competències
- Assumir tasques de responsabilitat en la gestió de la informació i el coneixement.
- Comprendre, analitzar i sintetitzar els coneixements avançats que hi ha en l'àrea, així com proposar idees innovadores.
- Conceptualitzar alternatives de solucions complexes per a problemes de visió i crear prototips que demostrin la validesa del sistema proposat.
- Identificar els conceptes i aplicar les tècniques fonamentals més adequades per resoldre els problemes bàsics de la visió per computador.
- Planificar, desenvolupar, avaluar i gestionar solucions per a projectes en els diferents àmbits de la visió per computador.
- Que els estudiants sàpiguin aplicar els coneixements adquirits i la seva capacitat de resolució de problemes en entorns nous o poc coneguts dins de contextos més amplis (o multidisciplinaris) relacionats amb la seva àrea d'estudi.
- Que els estudiants tinguin les habilitats d'aprenentatge que els permetin continuar estudiant, en gran manera, amb treball autònom a autodirigit.
- Seleccionar les eines de programari i els conjunts d'entrenament més adequats per desenvolupar les solucions per als problemes de visió per computador.
- Tenir coneixements que aportin la base o l'oportunitat de ser originals en el desenvolupament o l'aplicació d'idees, sovint en un context de recerca.
- Treballar en equips multidisciplinaris.
Resultats d'aprenentatge
- Assumir tasques de responsabilitat en la gestió de la informació i el coneixement.
- Comprendre, analitzar i sintetitzar els coneixements avançats que hi ha en l'àrea, així com proposar idees innovadores.
- Identificar els conceptes bàsics dels models gràfics i els algoritmes d'inferència.
- Identificar les millors representacions que es puguin definir per resoldre problemes tant d'optimització com d'inferència amb models gràfics.
- Identificar les tècniques bàsiques d'optimització i els algoritmes associats.
- Que els estudiants sàpiguin aplicar els coneixements adquirits i la seva capacitat de resolució de problemes en entorns nous o poc coneguts dins de contextos més amplis (o multidisciplinaris) relacionats amb la seva àrea d'estudi.
- Que els estudiants tinguin les habilitats d'aprenentatge que els permetin continuar estudiant, en gran manera, amb treball autònom a autodirigit.
- Seleccionar tècniques d'optimització i inferència i entrenar-les perquè solucionin un projecte concret.
- Tenir coneixements que aportin la base o l'oportunitat de ser originals en el desenvolupament o l'aplicació d'idees, sovint en un context de recerca.
- Treballar en equips multidisciplinaris.
- Utilitzar tècniques d'optimització i inferència per planificar, desenvolupar, avaluar i gestionar una solució per a un problema concret
Continguts
1. Introducció a problemes d’optimització i mètodes de minimització d’energia. Exemples i visió general d’una formulació variacional.
2. Repàs de l'àlgebra lineal computacional: mètodes de mínims quadrats, descomposició en valors singulars, pseudoinversa, mètodes iteratius. Aplicacions.
3. Tècniques numèriques per a problemes variacionals: derivada de Gateaux, equació d'Euler-Lagrange i mètodes de gradient. Aplicacions: denoising, inpainting d'imatges i Poisson editing. L’estratègia de Backpropagation per al càlcul de gradients. Algorismes d’optimització de descens per gradient útils per a estratègies d’aprenentatge profund.
4. Optimització convexa. Optimització amb i sense restriccions. Principis i mètodes de la dualitat. Problemes no-convexos i relaxació convexa. Aplicacions: restauració per Variació Total, càlcul de disparitat, càlcul de flux òptic.
5. Segmentació amb models variacionals. El funcional de Mumford i Shah. Representacions de forma explícita i implícita. Formulació amb conjunts de nivell.
6. Xarxes Bayessianes i MRFs. Tipus d'Inferència. Principals algoritmes d'inferència. Exemples: stéreo, denoising.
7. Algorismes d'inferència. Belief propagation: message passing, loopy belief propagation. Exemple: inferència per a segmentació.
8. Mètodes de mostreig: Mètodes basats en partícules, Markov Chain Monte Carlo, Gibbs Sampling.
Metodologia
Sessions supevisades: (Sessions en línia sincròniques)
- Sesions magistrals, on els professors explicaran continguts generals dels diferents temes. La majoria seran necesaris per a la resolució de problemes.
Sessions dirigides: (Sessions en línia sincròniques)
- Sesions de projecte, on es presentaran i discutiran els objetius i problemes dels projectes. Els estudiants hauran d'interactuar amb el coordinador de projecte sobre els problemes surgits i les idees per a resoldre'ls. (Approx. 1 hora/setmana)
- Sesions de presentació, on els estudiants faran una presentació oral sobre como han solucionat el projecte i sobre els resultats obtinguts.
- Sesió d'exàmen, on els estudiants seran avaluats individualment, demostrant l'adquisició dels coneixements desenvolupats i la capacitat de resolució de problemes associats.
Treball autònom:
- Els estudiants hauran d'estudiar i treballar autònomament amb els materials derivavts de les classes magistrals i de les sessions de projecte.
- Els estudiants treballaran en grup per a resoldre els problemes plantejats en els projectes amb els següents entregables:
- Codi
- Informe
- Presentació oral
Activitats formatives
| Títol | Hores | ECTS | Resultats d'aprenentatge |
|---|---|---|---|
| Tipus: Dirigides | |||
| Sessions teòriques | 20 | 0,8 | 2, 3, 4, 5, 7, 8, 9, 11 |
| Tipus: Supervisades | |||
| Sessions de seguiment de projectes | 8 | 0,32 | 1, 2, 3, 4, 5, 6, 7, 8, 10, 11 |
| Tipus: Autònomes | |||
| Treball autònom | 113 | 4,52 | 1, 3, 4, 5, 6, 7, 8, 10 |
Avaluació
La nota final es calcularà mitjançant la següent fórmula :
Nota final = 0.4 x Examen + 0.55 x Projecte + 0.05 x Assistència
on
Examen: és la nota obtinguda de l'examen. Pot ésser incrementada per punts extra corresponents als exercicis proposats en les classes d'alguns temes, però només si la nota de l'examen és com a mínim 3.0.
Assistència: nota derivada del control d'assistència a les classes (mínim 70%)
Projecte: nota atorgada pel coordinador del projecte basada en el seguiment que fa setmanalment i en els lliuraments del projecte. Tot això d'acord amb criteris específics com ara:
- Participació i discusió a les sessions i treball en grup (avaluacions intre pars)
- Lliurament de parts obligatòries i opcionals
- Codi desenvolupat (estil, comentaris, etc.)
- Informe escrit (justificació de les decisions de desenvolupament)
- Presentació oral i demostració
La nota de l'examen es podrà incrementar amb punts extra obtinguts per l'entrega d'exercicis proposats en relació a algunes de les classes, però només en el cas que la nota de l'examen sigui superior o igual a 3.
Només els estudiants que han suspès (nota final < 5.0) poden fer l'examen de recuperació.
Activitats d'avaluació
| Títol | Pes | Hores | ECTS | Resultats d'aprenentatge |
|---|---|---|---|---|
| Assistència a sessions | 0,05 | 0,5 | 0,02 | 1, 2, 7, 9, 10 |
| Exàmen | 0,4 | 2,5 | 0,1 | 2, 3, 4, 5, 6, 9 |
| Projecte | 0,55 | 6 | 0,24 | 1, 3, 4, 5, 6, 7, 8, 10, 11 |
Bibliografia
Journal articles:
- Xavier Bresson and Tony F. Chan. “Fast Dual Minimization of the Vectorial Total Variation Norm and Applications to Color Image Processing. Inverse Problems and Imaging”. American Institue of Mathematical Sciences. Vol 2, No. 4, pp 455-484 2008.
- Chan, T. F., & Vese, L. a. “Active contours without edges”. IEEE Transactions on Image Processing : A Publication of the IEEE Signal Processing Society, 10(2), pp 266–77, 2001.
- Daphne Koller and Nir Friedman, "Probablistic Graphical Models. Principles and techniques", 2009.
- Patrick Pérez, Michel Gangnet, and Andrew Blake. “Poisson image editing”. In ACM SIGGRAPH 2003 Papers (SIGGRAPH '03). ACM, New York, NY, USA, 313-318 2003.
- L.I. Rudin, S. Osher, and E. Fatemi. “Nonlinear Total Variation based Noise Removal Algorithms”. Physical D Nonlinear Phenomena, 60, pp 259-268, November 1992.
- Ruder, Sebastian. "An overview of gradient descent optimization algorithms." arXiv preprint arXiv:1609.04747(2016).
Books:
- S.P. Boyd, L. Vandenberghe, "Convex optimization", Cambridge University Press, 2004.
- Tony F. Chan and Jianhong Shen. “Image Processing and Analysis: Variational, PDE, Wavelet and Stochastic Methods”. Society for Industrial and Applied Mathematics, 2005.
- J. Nocedal, S.J. Wright, “Numerical optimization”, Springer Verlag, 1999.
- Aubert Gilles, Pierre Kornprobst. “Mathematical Problems in Image Processing: Partial Differential Equations and the Calculus of Variations”. Springer-Verlag New York.
- Joe D. Hoffman. “Numerical Methods for Engineers and Scientists“
- Daphne Koller and Nir Friedman, "Probablistic Graphical Models. Principles and techniques", 2009.
- Sebastian Nowozin and Christoph H. Lampert, "Structured Learning and Prediction in Computer Vision", Foundations and Trends in Computer Graphics and Vision: Vol. 6: No. 3-4, pp 185-365, 2011.
- C. Pozrikidis. “Numerical Computation in Science and Engineering”.