Logo UAB
2021/2022

Mètodes Avançats de Processament de Senyal, Imatge i Vídeo

Codi: 104367 Crèdits: 6
Titulació Tipus Curs Semestre
2503758 Enginyeria de Dades OT 4 0
La metodologia docent i l'avaluació proposades a la guia poden experimentar alguna modificació en funció de les restriccions a la presencialitat que imposin les autoritats sanitàries.

Professor/a de contacte

Nom:
Francesc Xavier Roca Marva
Correu electrònic:
Xavier.Roca@uab.cat

Utilització d'idiomes a l'assignatura

Llengua vehicular majoritària:
català (cat)
Grup íntegre en anglès:
No
Grup íntegre en català:
Grup íntegre en espanyol:

Equip docent

Francesc Xavier Roca Marva
Debora Gil Resina

Prerequisits

Es recomana que l'alumne tingui coneixements i capacitats de:

  • Programació en el llenguatge de programació Python
  • Processament de Senyal, Imatge i Vídeo
  • Validació estadística 
  • Aprenentatge Computacional i Deep Learning

Objectius

 

Aproximadament cada dècada hi ha un tsunami tecnològic que transforma múltiples indústries. La Intel·ligència Artificial (IA) és aquesta onada que arrasa al món tecnològic actual. Si alguna vegada t'has preguntat:

  • com els ordinadors realitzen la detecció de cares en multituds?
  • com les aplicacions de videotrucades desenfoquen el fons o reemplacen el fons amb altres imatges?
  • com es desplacen els cotxes autònoms de forma segura en un entorn urbà?
  • com es segueix la pilota amb tanta precisió en esdeveniments esportius televisats com tennis, futbol i bàsquet?
  • podem saber el tractament de càncer més efectiu a partir de dades multimodals del pacient?
  • podem saber les emocions d'una persona amb un smart watch i un video?
  • com aprenen a parlar les màquines?

Si hem despertat la seva curiositat, aquest curs és el que necessites. En aquest curs apendrem sobre temes en Visió per Ordinador com Seguiment d'Objectes, Processament de Volums, Medicina Personalitzada, Detecció de Cares, Flux Òptic, estimació d'Pose Humana i molts més.

A diferència d'altres cursos de visió per ordinador, aquest curs s'acosta a la visió per ordinador de manera més pràctica, experiencial i intuïtiva. El seu principal component és un conjunt de projectes que ha de ser desenvolupats pels estudiants repartits en equips. Tot el que es necessita és un coneixement pràctic del llenguatge de programació Python. 

Utilitzarem OpenCV que és la biblioteca de visió per ordinador més gran i popular del món. L’utilitzen milers d’empreses, productes i dispositius i es prova cada dia per obtenir escalabilitat i rendiment. A més apendrem a dissenyar i adaptar xarxes específiques i a escollir quin és el mètode de processat més adient segons els requeriments i restriccions de cada aplicació. 

En resum, Mètodes avançats de processament de senyal, imatge i vídeo és unaassignaturade caràcter eminentment pràctic i interdisciplinar que se situa en el pont que hi ha entre la intel·ligència artificial i el món real i que pretén recórrer aquest pont en ambdues direccions.

 

Coneixements:

Descriure i relacionar les fases en què es divideix la solució a un problema d’anàlisi de processament del senyal.
Identificar els avantatges i inconvenients dels algorismes de visió per ordinador i de processament del senyal.
Resoldre problemes reals relacionats amb tècniques de visió per ordinador.
Entendre el resultat i les limitacions de les tècniques de visió en diferents casos d’estudi.
Saber escollir l’algorisme de visió per ordinador més adient per solucionar una tasca donada.
Saber escollir les tècniques de visió per ordinador més adequades per solucionar problemes contextualitzats.

 

Habilitats:

Reconèixer les situacions en les quals l’aplicació d’algorismes de processament del senyal pot ser adient per solucionar un problema.
Analitzar el problema a resoldre i dissenyar la solució òptima aplicant les tècniques apreses.
Redactar documents tècnics relacionats amb l’anàlisi i la solució d’unproblema.
Programar els algorismes bàsics per solucionar els problemes proposats.
Avaluar els resultats de la solució implementada i valorar les possibles millores.
Defensar i argumentar les decisions preses en la solució dels problemes proposats.

 

Competències

Buscar, seleccionar i gestionar de manera responsable la informació i el coneixement.
Concebre, dissenyar i implementar el sistema d’adquisicióde dades més adient per alproblema concret que cal resoldre.
Desenvolupar un pensament i un raonament crític i saber comunicar-los de manera efectiva, tant en les llengües pròpies com en anglès.
Que els estudiants tinguin la capacitat de reunir i interpretar dades rellevants (normalment dins de la seva àrea d'estudi) per emetre judicis que incloguin una reflexió sobre temes destacats.

Resultats d'aprenentatge

Buscar, seleccionar i gestionar de manera responsable la informació i el coneixement.
Desenvolupar un pensament i un raonament crític i saber comunicar-los de manera efectiva, tant en les llengües pròpies com en anglès.
Dissenyar un sistema d'adquisició d'imatges i vídeos i aplicar els mètodes bàsics de la visió per ordinador a problemes específics.
Escollir els mètodes de representació del coneixement més adequats per a l'extracció dels objectes presents en l'escena, imatge o vídeo i la seva anàlisi posterior.
Extreure i analitzar el moviment d'un vídeo (seguiment d'objectes, punts característics al llarg d'un vídeo, etc.)

Competències

  • Concebre, dissenyar i implementar sistemes intel·ligents per a l’aprenentatge autònom i sistemes amb capacitat predictiva.
  • Demostrar sensibilitat cap als temes ètics, socials i mediambientals.
  • Generar propostes innovadores i competitives en l’activitat professional i en la investigació.
  • Que els estudiants hagin desenvolupat aquelles habilitats d'aprenentatge necessàries per emprendre estudis posteriors amb un alt grau d'autonomia.
  • Que els estudiants tinguin la capacitat de reunir i interpretar dades rellevants (normalment dins de la seva àrea d'estudi) per emetre judicis que incloguin una reflexió sobre temes destacats d'índole social, científica o ètica.

Resultats d'aprenentatge

  1. Demostrar sensibilitat cap als temes ètics, socials i mediambientals.
  2. Escollir i interpretar els models predictius més adequats per a la gestió mediambiental en ciutats intel·ligents.
  3. Escollir i modificar els mètodes d'aprenentatge computacional més adequats als requeriments de l'àmbit de ciències de la salut.
  4. Generar propostes innovadores i competitives en l’activitat professional i en la investigació.
  5. Que els estudiants hagin desenvolupat aquelles habilitats d'aprenentatge necessàries per emprendre estudis posteriors amb un alt grau d'autonomia.
  6. Que els estudiants tinguin la capacitat de reunir i interpretar dades rellevants (normalment dins de la seva àrea d'estudi) per emetre judicis que incloguin una reflexió sobre temes destacats d'índole social, científica o ètica.

Continguts

1 - Introducció a la Visió per Computador i l'OpenCV

2 - Mètodes basats en extracció i selecció de característiques

3 - Mètodes basats en Deep Learning 

4 - Com escollir el mètode més adient. Disseny i Validació Experimental. 

5 – Processament i Anàlisi d’Imatges. Segmentació i Reconeixement

6 - Processament i Anàlisi de senyals temporals. Vídeo (tracking), series temporals (senyals biometriques)

7 - Processament i Anàlisi de Volums 3D. 

8 - Processament i Anàlisi de Dades MultiModals. 

 

Metodologia

La gestió de la docència de l'assignatura es farà a través del gestor documental Caronte (http://caronte.uab.cat/), que servirà com a eina de gestió els equips de treball,  fer els lliuraments corresponents, veure les notes, comunicar-vos amb els professors, etc. Per poder-lo utilitzar cal fer els següents passos:

  1.  Donar-se d'alta com usuari donant el nom, NIU, i una foto carnet en format JPG. Si ja us heu donat d'alta per alguna altra assignatura, no cal tornar-ho a fer, podeu anar al següent pas.
  2.  Inscriure’s al tipus de docència "MÈTODES AVANÇATS DE PROCESSAMENT DE SENYAL, IMATGE I VÍDEO", donant com a codi d'assignatura el proporcionat el primer dia de classe.

 

El projecte

El curs seguirà una metodologia docent d'aprenentatge anomenada Aprenentatge Basat en Projectes (ABP). La metodologia ABP pretén potenciar i motivar a l'estudiant en el seu aprenentatge. Es formaran grups d'entre 5 i 6 estudiants als que se'ls encomanarà la realització d'un conjunt de projectes (de mida mitjana) al llarg del semestre. Es farà un seguiment setmanal i tutorització tant grupal com individual dels estudiants

Els projectes són fixats pel professorat de manera que compleixi les següents condicions:  ser el més real possible;  ser tractable mitjançant eines elementals; no tenir associat un algorisme de solució standard.

D'altra banda, és essencial entendre que no es tracta pas de trobar un algorisme que funcioni en el 100 x 100 dels casos —tot sovint no existeix tal cosa— sinó simplement de “donar-hi una proposta de solució raonable”.

Els projectes els han de desenvolupar cada equip amb la màxima autonomia possible. Cada equip tindrà assignat un tutor que en seguirà l'evolució però en principi s'abstindrà d'imposar les seves idees. D'altra banda, l'estudiant ha de tenir clar que no es tracta de buscar la ‘solució’ del problema en altres llocs, sino de fer una aportació original. Això no vol dir que s'hagi de renunciar a la informació que pugui existir en la bibliografia o a Internet; però quan se'n faci ús cal tenir informat el professor i explicar-ho en la memòria.

La realització del projecte ha de acabar en un programa i una memòria final. A més d'entregar-la en forma escrita, els resultats d'aquesta memòria seran objecte d'una exposició oral. Una i altra, memòria escrita i exposició oral, han d'anar dirigides principalment a l'entitat, segurament hipotètica, que hauria proposat el problema. Per regla general, els tecnicismes seran relegats a apartats concrets de la memòria escrita.

En les presentacions orals dels projectes s'espera que hi assisteixin tota la classes, i que aquests intervinguin mitjançant preguntes i observacions.

Nota: es reservaran 15 minuts d'una classe, dins del calendari establert pel centre/titulació, per a la complementació per part de l'alumnat de les enquestes d'avaluació de l'actuació del professorat i d'avaluació de l'assignatura/mòdul.

Activitats formatives

Títol Hores ECTS Resultats d'aprenentatge
Tipus: Dirigides      
Classe de teoria 10 0,4
Tipus: Supervisades      
Taller de treball 20 0,8
Tipus: Autònomes      
Treball personal 115 4,6

Avaluació

Donat que la major part de la feina gira al voltant d'un conjunt de projectes que es desenvolupa al llarg de tot el curs, l'avaluació té un caràcter continuat, i el seu resultat final no és recuperable.

 

Metodologia de Avaluació

S'avaluaran les actes que el grup escriurà després de cada sessió tutoritzada, en la que descriuran les seves discussions i acords i les enquestes d'autoavaluació que cada alumne farà dels seus companys i d'ell mateix. Al final de cada projecte els estudiants es farà una presentació oral del projecte i entregaran una memòria del treball realitzat. Ambdós seran avaluats per part dels professors de l'assignatura siguin o no els tutors. Els estudiants no realitzaran cap examen escrit. 

Per a l'avaluació  s'utilitzaran els següents INSTRUMENTS i ACTIVITATS:

  • Una avaluació feta pels professors a partir de la presentació dels projectes realitzat pel grup (qualitat del treball, presentació, memòria entregada). Nota Grupal (0 a 10) A partir de:
    • PORTFOLI DE L'ALUMNE: Document on s'explica el desenvolupament de la feina feta: plantejament del projecte, actes de reunions, informació buscada, explicació de l'aplicació implementada amb un petit manual d'usuari i proves i tests realitzats.
    • PRESENTACIÓ: Presentació oral en 5-7 transparències sobre el projecte desenvolupat i resultats obtinguts.
    • APLICACIÓ: programa desenvolupat.
    • ACTES i CONTROLS: Presentació de la documentació entregada.
  • Una avaluació individual a partir de les observacions fetes pels tutors en les sessions tutoritzades, on es tindrà en compte l'actitud, iniciativa, participació, assistència i puntualitat de l'alumne a les sessions de grup. Nota Individual (0 a 10).
  • Enquestes de co-avaluació i autoavaluació entre els membres del grup al final de cada projecte. Nota Coavaluació Companys (0 a 10).
  • Les presentacions orals es realitzen davant dels alumnes i els grups valoraran el treball dels seus companys a mode de ranking El grup que quedi en 1a possició rebrà 10 punts, el 2on 8 punts i així successivament.  Nota Coavaluació Classe (0 a 10).

 

Qualificacions

Cada projecte tindrà una nota que es calcularà de la següent manera: 

Nota Projecte =  0,5 * Nota Grupal +  0,3 * Nota Individual + 0,1 * Nota Coavaluació Companys + 0,1 * Nota Coavaluació Classe

 

La nota final sortirà del la mitjana ponderada dels projectes realitzats. La ponderació serà la mateixa per tots els projectes 

 

Per a distingir entre ‘suspens’ i ‘no presentat’ es fixa una data límit per a que els estudiants es puguin donar de baixa de l'avaluació, en el qual cas apareixeran com a ‘no presentats’. Per a donar-se de baixa caldrà comunicar-ho al professor, per escrit o mitjançant correu eletrònic, i obtenir un acús de rebuda.

 

Activitats d'avaluació

Títol Pes Hores ECTS Resultats d'aprenentatge
Nota Individual 30% 0 0 1, 2, 3, 4, 5
Nota Coavaluació Classe 10% 0 0 1
Nota Coavaluació Companys 10% 0 0 1
Nota Grupal 50% 5 0,2 1, 2, 3, 4, 6

Bibliografia

Forsyth & Ponce, Computer Vision: A Modern Approach, Pearson, 2002, ISBN 0130851981

Computer vision, Linda G. Shapiro and George C. Stockman.

Introductory techniques for 3-D computer vision, Emanuele Trucco and Alessandro Verri.

Programari

Python amb llibreries openCV, pytorch. Eventualment Matlab i/o R. Es facilitarà acces a clusters de GPUs i CPUs