Logo UAB
2019/2020

Anàlisi de Video

Codi: 43082 Crèdits: 6
Titulació Tipus Curs Semestre
4314099 Visió per Computador / Computer Vision OB 0 2

Professor/a de contacte

Nom:
Javier Ruiz Hidalgo
Correu electrònic:
Desconegut

Utilització d'idiomes a l'assignatura

Llengua vehicular majoritària:
anglès (eng)

Equip docent extern a la UAB

Josep R. Casas
Montse Pardàs
Ramon Morros
Xavier Giró

Prerequisits

  • Un grau en Enginyeria, Matemàtiques, Física o similar. 
  • Competències en programació en Python.

Objectius

L'objectiu d'aquest mòdul és presentar els principals conceptes i tecnologies que són necessaris per a l'anàlisi de vídeo. En primer lloc, es presenten les aplicacions d'anàlisi de seqüències d'imatges i els diferents tipus de dades on s'aplicaran aquestes tècniques. A més es proporciona una descripció general de les tècniques de processament de senyals i les arquitectures generals d'aprenentatge profund en què es basa l'anàlisi de vídeo. Es donaran exemples per a seqüències de vídeo monocámara, multicàmera i amb càmeres de profunditat. S'estudiaran tant les bases teòriques com els algoritmes més utilitzats. Per a cada matèria, es presentaran tècniques clàssiques juntament amb les tècniques d'aprenentatge profund de l'estat de l'art que condueixen a diferents enfocaments. Els temes principals seran la segmentació de vídeo, la sostracció i modelatge del fons, l'estimació de moviment, els algoritmes de seguiment i l'anàlisi basat en models. També s'estudiaran tècniques de nivell superior, com el reconeixement de gestos o accions, la generació profunda de de vídeos i l'aprenentatge profund multimodal. Els estudiants treballaran en un projecte sobre monitorització de trànsit aplicat a ADAS (sistemes avançats d'assistència al conductor) on s'aplicaran els conceptes apresos en el curs. El projecte se centrarà en la detecció i segmentació d'objectes de vídeo, l'estimació del flux òptic i el seguiment de vehicles amb múltiples objectius / càmeres.

Competències

  • Assumir tasques de responsabilitat en la gestió de la informació i el coneixement.
  • Comprendre, analitzar i sintetitzar els coneixements avançats que hi ha en l'àrea, així com proposar idees innovadores.
  • Conceptualitzar alternatives de solucions complexes per a problemes de visió i crear prototips que demostrin la validesa del sistema proposat.
  • Identificar els conceptes i aplicar les tècniques fonamentals més adequades per resoldre els problemes bàsics de la visió per computador.
  • Planificar, desenvolupar, avaluar i gestionar solucions per a projectes en els diferents àmbits de la visió per computador.
  • Que els estudiants sàpiguin aplicar els coneixements adquirits i la seva capacitat de resolució de problemes en entorns nous o poc coneguts dins de contextos més amplis (o multidisciplinaris) relacionats amb la seva àrea d'estudi.
  • Que els estudiants tinguin les habilitats d'aprenentatge que els permetin continuar estudiant, en gran manera, amb treball autònom a autodirigit.
  • Seleccionar les eines de programari i els conjunts d'entrenament més adequats per desenvolupar les solucions per als problemes de visió per computador.
  • Tenir coneixements que aportin la base o l'oportunitat de ser originals en el desenvolupament o l'aplicació d'idees, sovint en un context de recerca.
  • Treballar en equips multidisciplinaris.

Resultats d'aprenentatge

  1. Assumir tasques de responsabilitat en la gestió de la informació i el coneixement.
  2. Comprendre, analitzar i sintetitzar els coneixements avançats que hi ha en l'àrea, així com proposar idees innovadores.
  3. Identificar els problemes bàsics que s'han de resoldre en l'anàlisi de seqüències d'imatges, així com els algoritmes específics.
  4. Identificar les millors representacions que es puguin definir per resoldre problemes d'anàlisi de seqüències d'imatges.
  5. Planificar, desenvolupar, avaluar i gestionar una solució per a un problema concret d'anàlisi de seqüències d'imatges.
  6. Que els estudiants sàpiguin aplicar els coneixements adquirits i la seva capacitat de resolució de problemes en entorns nous o poc coneguts dins de contextos més amplis (o multidisciplinaris) relacionats amb la seva àrea d'estudi.
  7. Que els estudiants tinguin les habilitats d'aprenentatge que els permetin continuar estudiant, en gran manera, amb treball autònom a autodirigit.
  8. Seleccionar les tècniques apreses i entrenar-les per solucionar un projecte concret d'anàlisi de seqüències d'imatges.
  9. Tenir coneixements que aportin la base o l'oportunitat de ser originals en el desenvolupament o l'aplicació d'idees, sovint en un context de recerca.
  10. Treballar en equips multidisciplinaris.

Continguts

  1. Introducció a l'anàlisi de vídeos
    • Enfocaments de processament de senyal i aplicacions
    • Arquitectures d'aprenentatge profund per a vídeo
  2. Segmentació de vídeo
    • Segmentació d'escenes
    • Modelatge de fons
    • Segmentació espaial i temporal de regions
    • Segmentació semàntica.
  3. Estimació del moviment
    • Tècniques clàssiques i aprenentatge profund.
  4. Seguiment
    • Bayesià: introducció als filtres de Kalman, filtres de partícules
    • Seguiment múltiple i de contorns
    • Seguiment basat en models.
    • Seguiment i segmentació d'objectes amb aprenentatge profund.
  5. Aplicacions:
    • Generació de vídeos amb aprenentatge profund
    • Reconeixement: Activitat, Actitud i Gestos. 
    • Aprenent de vídeos. Aprenentatge profund entre modalitats.

Metodologia

Sesions supevisadws:

  • Sesions magistrals, on els professors explicaran continguts generals dels diferents temes. La majoria seran necesaris per a la resolució de problemes.

 

Sessions dirigides:

  • Sesions de projecte, on es presentaran i discutiran els objetius i problemes dels projectes. Els estudiants hauran d'interactuar amb el coordinador de projecte sobre els problemes surgits i les idees per a resoldre'ls.  (Approx. 1 hora/setmana)
  • Sesions de presentació, on els estudiants faran una presentació oral sobre como han solucionat el projecte i sobre els resultats obtinguts.
  • Sesió d'exàmen, on els estudiants seran avaluats individualment, demostrant l'adquisició dels coneixements desenvolupats i la capacitat de resolució de problemes associats.

 

Treball autònom:

  • Els estudiants hauran d'estudiar i treballar autònomament amb els materials derivavts de les classes magistrals i de les sessions de projecte.
  • Els estudiants treballaran en grup per a resoldre els problemes plantejats en els projectes amb els següents entregables:
    • Codi
    • Informe
    • Presentació oral

 

Activitats formatives

Títol Hores ECTS Resultats d'aprenentatge
Tipus: Dirigides      
Sesions teòriques 20 0,8 3, 4, 9
Tipus: Supervisades      
Sessions de seguiment de projectes 8 0,32 1, 2, 3, 4, 5, 6, 7, 8, 9, 10
Tipus: Autònomes      
Treball autònom 113 4,52 1, 2, 3, 4, 5, 6, 7, 8, 9, 10

Avaluació

La Nota final d'aquest mòdul es calcula amb la següent fórmula:

Nota final = 0.4 x Examen + 0.55 x Projecte+ 0.05 x Assistència

on,

Exàmen: és la nota obtinguda en l'examen final del mòdul (ha de ser >= 3)

Assistència: és la nota derivada de l'assistència a les sessions (mínim 70%)

Projecte: és la nota que posa el coordinador del projecte d'acord amb els resultats del seguiment setmanal del projecte i de les entregues. Tot d'acord amb criteris específcis com ara:

    • Participació en les sessions de discusió i en el treball en equip (avaluació entre-membres)
    • Entrega de les parts obligatòries i opcionals del projecte.
    • Desenvolupament del codi (estil, comentaris, etc.)
    • Informe (justificació de les decisions preses en el desenvolupament del projecte)
    • Presentació (Presentació i demostració del projecte desenvolupat)

Activitats d'avaluació

Títol Pes Hores ECTS Resultats d'aprenentatge
Assistència a sessions 0.05 0,5 0,02 1, 3, 4, 6, 9
Exàmen 0.4 2,5 0,1 1, 2, 6, 7, 8, 9, 10
Projecte 0.55 6 0,24 1, 2, 3, 4, 5, 6, 7, 8, 9, 10

Bibliografia

Articles:

  1. M. Piccardi. “Background subtraction techniques: a review”. Journal: IEEE Int. Conf. On Systems, Man and Cybernetics 2004 , v. 4, pp. 3099-3104, 2004.
  2. A. Sobral, A. Vacavant, “A comprehensive review of background subtraction algorithms evaluated with synthetic and real videos”, Journal: Computer Vision and Image Understanding Vol. 122, pp. 4-21 · May 2014.
  3. S. Baker, D. Scharstein, JP. Lewis, S. Roth, M. Black, R. Szeliski. “A database and evaluation methodology for optical flow”. Journal: International Journal of Computer Vision, Vol. 92:1, pp. 1-31, 2011.
  4. T. Cootes, G. Edwards, C. Taylor. “Active appearance models”. Journal: IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 6, pp. 681--685, 2001.
  5. R. Poppe. “Vision-based Human motion analysis: an overview”. Journal: Computer Vision and Image Understanding 108 (1-2): 4-18, 2007

Llibres:

  1. “Sequential Monte Carlo methods in practice”, A. Doucet, N. de Freitas and N.Gordon (Eds.), Springer, 2001.