Anàlisi de Video
Codi: 43082 Crèdits: 6| Titulació | Tipus | Curs | Semestre |
|---|---|---|---|
| 4314099 Visió per Computador / Computer Vision | OB | 0 | 2 |
Professor/a de contacte
- Nom:
- Maria Vanrell Martorell
- Correu electrònic:
- maria.vanrell@uab.cat
Utilització d'idiomes a l'assignatura
- Llengua vehicular majoritària:
- anglès (eng)
Equip docent extern a la UAB
- Federico Sukno
- Gloria Haro
- Javier Ruiz
- Montse Pardàs
- Ramon Morros
Prerequisits
- Un grau en Enginyeria, Matemàtiques, Física o similar.
- Competències de programació en Python.
Objectius
Coordinador del mòdul: Dr. Javier Ruiz
L'objectiu d'aquest mòdul és presentar els principals conceptes i tecnologies que són necessaris per a l'anàlisi de vídeo. En primer lloc, es presenten les aplicacions d'anàlisi de seqüències d'imatges i els diferents tipus de dades on s'aplicaran aquestes tècniques. A més es proporciona una descripció general de les tècniques de processament de senyals i les arquitectures generals d'aprenentatge profund en què es basa l'anàlisi de vídeo. Es donaran exemples per a seqüències de vídeo monocámara, multicàmera i amb càmeres de profunditat. S'estudiaran tant les bases teòriques com els algoritmes més utilitzats. Per a cada matèria, es presentaran tècniques clàssiques juntament amb les tècniques d'aprenentatge profund de l'estat de l'art que condueixen a diferents enfocaments. Els temes principals seran la segmentació de vídeo, la sostracció i modelatge del fons, l'estimació de moviment, els algoritmes de seguiment i l'anàlisi basat en models. També s'estudiaran tècniques de nivell superior, com el reconeixement de gestos o accions, la generació profunda de de vídeos i l'aprenentatge profund multimodal. Els estudiants treballaran en un projecte sobre monitorització de trànsit aplicat a ADAS (sistemes avançats d'assistència al conductor) on s'aplicaran els conceptes apresos en el curs. El projecte se centrarà en la detecció i segmentació d'objectes de vídeo, l'estimació del flux òptic i el seguiment de vehicles amb múltiples objectius / càmeres.
Competències
- Assumir tasques de responsabilitat en la gestió de la informació i el coneixement.
- Comprendre, analitzar i sintetitzar els coneixements avançats que hi ha en l'àrea, així com proposar idees innovadores.
- Conceptualitzar alternatives de solucions complexes per a problemes de visió i crear prototips que demostrin la validesa del sistema proposat.
- Identificar els conceptes i aplicar les tècniques fonamentals més adequades per resoldre els problemes bàsics de la visió per computador.
- Planificar, desenvolupar, avaluar i gestionar solucions per a projectes en els diferents àmbits de la visió per computador.
- Que els estudiants sàpiguin aplicar els coneixements adquirits i la seva capacitat de resolució de problemes en entorns nous o poc coneguts dins de contextos més amplis (o multidisciplinaris) relacionats amb la seva àrea d'estudi.
- Que els estudiants tinguin les habilitats d'aprenentatge que els permetin continuar estudiant, en gran manera, amb treball autònom a autodirigit.
- Seleccionar les eines de programari i els conjunts d'entrenament més adequats per desenvolupar les solucions per als problemes de visió per computador.
- Tenir coneixements que aportin la base o l'oportunitat de ser originals en el desenvolupament o l'aplicació d'idees, sovint en un context de recerca.
- Treballar en equips multidisciplinaris.
Resultats d'aprenentatge
- Assumir tasques de responsabilitat en la gestió de la informació i el coneixement.
- Comprendre, analitzar i sintetitzar els coneixements avançats que hi ha en l'àrea, així com proposar idees innovadores.
- Identificar els problemes bàsics que s'han de resoldre en l'anàlisi de seqüències d'imatges, així com els algoritmes específics.
- Identificar les millors representacions que es puguin definir per resoldre problemes d'anàlisi de seqüències d'imatges.
- Planificar, desenvolupar, avaluar i gestionar una solució per a un problema concret d'anàlisi de seqüències d'imatges.
- Que els estudiants sàpiguin aplicar els coneixements adquirits i la seva capacitat de resolució de problemes en entorns nous o poc coneguts dins de contextos més amplis (o multidisciplinaris) relacionats amb la seva àrea d'estudi.
- Que els estudiants tinguin les habilitats d'aprenentatge que els permetin continuar estudiant, en gran manera, amb treball autònom a autodirigit.
- Seleccionar les tècniques apreses i entrenar-les per solucionar un projecte concret d'anàlisi de seqüències d'imatges.
- Tenir coneixements que aportin la base o l'oportunitat de ser originals en el desenvolupament o l'aplicació d'idees, sovint en un context de recerca.
- Treballar en equips multidisciplinaris.
Continguts
- Introducció a l'anàlisi de vídeos
- Enfocaments de processament de senyal i aplicacions
- Arquitectures d'aprenentatge profund per a vídeo
- Segmentació de vídeo
- Segmentació d'escenes
- Modelatge de fons
- Segmentació espaial i temporal de regions
- Segmentació semàntica.
- Estimació del moviment
- Tècniques clàssiques i aprenentatge profund.
- Seguiment
- Bayesià: introducció als filtres de Kalman, filtres de partícules
- Seguiment múltiple i de contorns
- Seguiment basat en models.
- Seguiment i segmentació d'objectes amb aprenentatge profund.
- Aplicacions:
- Generació de vídeos amb aprenentatge profund
- Reconeixement: Activitat, Actitud i Gestos.
- Aprenent de vídeos. Aprenentatge profund entre modalitats.
Metodologia
Sessions supervisades: (Algunes d'aquestes sessions podrien ser en línia síncròniques)
- Sessions de teoria, on els professors expliquen continguts generals sobre els diferents temes. Alguns d'ells s'empraran per resoldre els problemes.
Sessions dirigides:
- Sessions de projecte, on els problemes i els objectius dels projectes seran presentats i discutits, els estudiants interactuaran amb el coordinador del projecte sobre problemes i idees per resoldre el projecte (aprox. 1 hora/setmana).
- Sessió de presentació, on els estudiants fan una presentació oral sobre com han resolt el projecte i una demostració dels resultats.
- Sessió d'examen, on els estudiants són avaluats de forma individual sobre el coneixement obtingut i les habilitats per resoldre problemes.
Treball autònom:
- L'estudiant estudiarà de forma autònoma i treballarà els materials derivats de les sessions teòriques.
- L'estudiant treballarà en grups per a resoldre els problemes del projecte amb entregues de:
- Codi
- Informes
- Presentació oral
Nota: es reservaran 15 minuts d'una classe, dins del calendari establert pel centre/titulació, per a la complementació per part de l'alumnat de les enquestes d'avaluació de l'actuació del professorat i d'avaluació de l'assignatura/mòdul.
Activitats formatives
| Títol | Hores | ECTS | Resultats d'aprenentatge |
|---|---|---|---|
| Tipus: Dirigides | |||
| Sesions teòriques | 20 | 0,8 | 3, 4, 9 |
| Tipus: Supervisades | |||
| Sessions de seguiment de projectes | 8 | 0,32 | 1, 2, 3, 4, 5, 6, 7, 8, 9, 10 |
| Tipus: Autònomes | |||
| Treball autònom | 113 | 4,52 | 1, 2, 3, 4, 5, 6, 7, 8, 9, 10 |
Avaluació
La Nota final d'aquest mòdul es calcula amb la següent fórmula:
Nota final = 0.4 x Examen + 0.55 x Projecte+ 0.05 x Assistència
on,
Exàmen: és la nota obtinguda en l'examen final del mòdul (ha de ser >= 3).
Assistència: és la nota derivada de l'assistència a les sessions (mínim 70%).
Projecte: és la nota que posa el coordinador del projecte d'acord amb els resultats del seguiment setmanal del projecte i de les entregues (ha de ser >= 5). Tot d'acord amb criteris específcis com ara:
- Participació en les sessions de discusió i en el treball en equip (avaluació entre-membres)
- Entrega de les parts obligatòries i opcionals del projecte.
- Desenvolupament del codi (estil, comentaris, etc.)
- Informe (justificació de les decisions preses en el desenvolupament del projecte)
- Presentació (Presentació i demostració del projecte desenvolupat)
Només els estudiants que han suspès (Nota final < 5.0) poden fer l'examen de recuperació.
Activitats d'avaluació
| Títol | Pes | Hores | ECTS | Resultats d'aprenentatge |
|---|---|---|---|---|
| Assistència a sessions | 0.05 | 0,5 | 0,02 | 1, 3, 4, 6, 9 |
| Exàmen | 0.4 | 2,5 | 0,1 | 1, 2, 6, 7, 8, 9, 10 |
| Projecte | 0.55 | 6 | 0,24 | 1, 2, 3, 4, 5, 6, 7, 8, 9, 10 |
Bibliografia
Articles:
- M. Piccardi. “Background subtraction techniques: a review”. Journal: IEEE Int. Conf. On Systems, Man and Cybernetics 2004 , v. 4, pp. 3099-3104, 2004.
- A. Sobral, A. Vacavant, “A comprehensive review of background subtraction algorithms evaluated with synthetic and real videos”, Journal: Computer Vision and Image Understanding Vol. 122, pp. 4-21 · May 2014.
- S. Baker, D. Scharstein, JP. Lewis, S. Roth, M. Black, R. Szeliski. “A database and evaluation methodology for optical flow”. Journal: International Journal of Computer Vision, Vol. 92:1, pp. 1-31, 2011.
- T. Cootes, G. Edwards, C. Taylor. “Active appearance models”. Journal: IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 6, pp. 681--685, 2001.
- R. Poppe. “Vision-based Human motion analysis: an overview”. Journal: Computer Vision and Image Understanding 108 (1-2): 4-18, 2007
Llibres:
- “Sequential Monte Carlo methods in practice”, A. Doucet, N. de Freitas and N.Gordon (Eds.), Springer, 2001.
Programari
Entorn de programació en Python amb especial atenció a les llibreries de visió per computador i Pythorch