Logo UAB

Mètodes Avançats de Processament de Senyal, Imatge i Vídeo

Codi: 104367 Crèdits: 6
2024/2025
Titulació Tipus Curs
2503758 Enginyeria de Dades OT 4

Professor/a de contacte

Nom:
Francesc Xavier Roca Marva
Correu electrònic:
xavier.roca@uab.cat

Equip docent

Francesc Xavier Roca Marva
Debora Gil Resina

Idiomes dels grups

Podeu consultar aquesta informació al final del document.


Prerequisits

Es recomana que l'alumne tingui coneixements i capacitats de:

  • Programació en el llenguatge de programació Python
  • Processament de Senyal, Imatge i Vídeo
  • Validació estadística 
  • Aprenentatge Computacional i Deep Learning

Objectius

 

Aproximadament cada dècada hi ha un tsunami tecnològic que transforma múltiples indústries. La Intel·ligència Artificial (IA) és aquesta onada que arrasa al món tecnològic actual. Si alguna vegada t'has preguntat:

  • com els ordinadors realitzen la detecció de cares en multituds?
  • com les aplicacions de videotrucades desenfoquen el fons o reemplacen el fons amb altres imatges?
  • com es desplacen els cotxes autònoms de forma segura en un entorn urbà?
  • com es segueix la pilota amb tanta precisió en esdeveniments esportius televisats com tennis, futbol i bàsquet?
  • podem saber el tractament de càncer més efectiu a partir de dades multimodals del pacient?
  • podem saber les emocions d'una persona amb un smart watch i un video?
  • com aprenen a parlar les màquines?

Si hem despertat la seva curiositat, aquest curs és el que necessites. En aquest curs apendrem sobre temes en Visió per Ordinador com Seguiment d'Objectes, Processament de Volums, Medicina Personalitzada, Detecció de Cares, Flux Òptic, estimació d'Pose Humana i molts més.

A diferència d'altres cursos de visió per ordinador, aquest curs s'acosta a la visió per ordinador de manera més pràctica, experiencial i intuïtiva. El seu principal component és un conjunt de projectes que ha de ser desenvolupats pels estudiants repartits en equips. Tot el que es necessita és un coneixement pràctic del llenguatge de programació Python. 

Utilitzarem OpenCV que és la biblioteca de visió per ordinador més gran i popular del món. L’utilitzen milers d’empreses, productes i dispositius i es prova cada dia per obtenir escalabilitat i rendiment. A més apendrem a dissenyar i adaptar xarxes específiques i a escollir quin és el mètode de processat més adient segons els requeriments i restriccions de cada aplicació. 

En resum, Mètodes avançats de processament de senyal, imatge i vídeo és unaassignaturade caràcter eminentment pràctic i interdisciplinar que se situa en el pont que hi ha entre la intel·ligència artificial i el món real i que pretén recórrer aquest pont en ambdues direccions.

 

Coneixements:

Descriure i relacionar les fases en què es divideix la solució a un problema d’anàlisi de processament del senyal.
Identificar els avantatges i inconvenients dels algorismes de visió per ordinador i de processament del senyal.
Resoldre problemes reals relacionats amb tècniques de visió per ordinador.
Entendre el resultat i les limitacions de les tècniques de visió en diferents casos d’estudi.
Saber escollir l’algorisme de visió per ordinador més adient per solucionar una tasca donada.
Saber escollir les tècniques de visió per ordinador més adequades per solucionar problemes contextualitzats.

 

Habilitats:

Reconèixer les situacions en les quals l’aplicació d’algorismes de processament del senyal pot ser adient per solucionar un problema.
Analitzar el problema a resoldre i dissenyar la solució òptima aplicant les tècniques apreses.
Redactar documents tècnics relacionats amb l’anàlisi i la solució d’unproblema.
Programar els algorismes bàsics per solucionar els problemes proposats.
Avaluar els resultats de la solució implementada i valorar les possibles millores.
Defensar i argumentar les decisions preses en la solució dels problemes proposats.

 

Competències

Buscar, seleccionar i gestionar de manera responsable la informació i el coneixement.
Concebre, dissenyar i implementar el sistema d’adquisicióde dades més adient per alproblema concret que cal resoldre.
Desenvolupar un pensament i un raonament crític i saber comunicar-los de manera efectiva, tant en les llengües pròpies com en anglès.
Que els estudiants tinguin la capacitat de reunir i interpretar dades rellevants (normalment dins de la seva àrea d'estudi) per emetre judicis que incloguin una reflexió sobre temes destacats.

Resultats d'aprenentatge

Buscar, seleccionar i gestionar de manera responsable la informació i el coneixement.
Desenvolupar un pensament i un raonament crític i saber comunicar-los de manera efectiva, tant en les llengües pròpies com en anglès.
Dissenyar un sistema d'adquisició d'imatges i vídeos i aplicar els mètodes bàsics de la visió per ordinador a problemes específics.
Escollir els mètodes de representació del coneixement més adequats per a l'extracció dels objectes presents en l'escena, imatge o vídeo i la seva anàlisi posterior.
Extreure i analitzar el moviment d'un vídeo (seguiment d'objectes, punts característics al llarg d'un vídeo, etc.)


Competències

  • Concebre, dissenyar i implementar sistemes intel·ligents per a l'aprenentatge autònom i sistemes amb capacitat predictiva.
  • Demostrar sensibilitat cap als temes ètics, socials i mediambientals.
  • Generar propostes innovadores i competitives en l'activitat professional i en la investigació.
  • Que els estudiants hagin desenvolupat aquelles habilitats d'aprenentatge necessàries per emprendre estudis posteriors amb un alt grau d'autonomia.
  • Que els estudiants tinguin la capacitat de reunir i interpretar dades rellevants (normalment dins de la seva àrea d'estudi) per emetre judicis que incloguin una reflexió sobre temes destacats d'índole social, científica o ètica.

Resultats d'aprenentatge

  1. Demostrar sensibilitat cap als temes ètics, socials i mediambientals.
  2. Escollir i interpretar els models predictius més adequats per a la gestió mediambiental en ciutats intel·ligents.
  3. Escollir i modificar els mètodes d'aprenentatge computacional més adequats als requeriments de l'àmbit de ciències de la salut.
  4. Generar propostes innovadores i competitives en l'activitat professional i en la investigació.
  5. Que els estudiants hagin desenvolupat aquelles habilitats d'aprenentatge necessàries per emprendre estudis posteriors amb un alt grau d'autonomia.
  6. Que els estudiants tinguin la capacitat de reunir i interpretar dades rellevants (normalment dins de la seva àrea d'estudi) per emetre judicis que incloguin una reflexió sobre temes destacats d'índole social, científica o ètica.

Continguts

1 - Introducció a la Visió per Computador i l'OpenCV

2 - Mètodes basats en extracció i selecció de característiques

3 - Mètodes basats en Deep Learning 

4 - Com escollir el mètode més adient. Disseny i Validació Experimental. 

5 – Processament i Anàlisi d’Imatges. Segmentació i Reconeixement

6 - Processament i Anàlisi de senyals temporals. Vídeo (tracking), series temporals (senyals biometriques)

7 - Processament i Anàlisi de Volums 3D. 

8 - Processament i Anàlisi de Dades MultiModals. 

 


Activitats formatives i Metodologia

Títol Hores ECTS Resultats d'aprenentatge
Tipus: Dirigides      
Classe de teoria 10 0,4
Tipus: Supervisades      
Taller de treball 20 0,8
Tipus: Autònomes      
Treball personal 115 4,6

La gestió de la docència de l'assignatura es farà a través del Campus Virtual (http://cv.uab.cat/), que servirà com a eina de gestió els equips de treball,  fer els lliuraments corresponents, veure les notes, comunicar-vos amb els professors, etc. 

El projecte

El curs seguirà una metodologia docent d'aprenentatge anomenada Aprenentatge Basat en Projectes (ABP). La metodologia ABP pretén potenciar i motivar a l'estudiant en el seu aprenentatge. Es formaran grups d'entre 5 i 6 estudiants als que se'ls encomanarà la realització d'un conjunt de projectes (de mida mitjana) al llarg del semestre. Es farà un seguiment setmanal i tutorització tant grupal com individual dels estudiants

Els projectes són fixats pel professorat de manera que compleixi les següents condicions:  ser el més real possible;  ser tractable mitjançant eines elementals; no tenir associat un algorisme de solució standard.

D'altra banda, és essencial entendre que no es tracta pas de trobar un algorisme que funcioni en el 100 x 100 dels casos —tot sovint no existeix tal cosa— sinó simplement de “donar-hi una proposta de solució raonable”.

Els projectes els han de desenvolupar cada equip amb la màxima autonomia possible. Cada equip tindrà assignat un tutor que en seguirà l'evolució però en principi s'abstindrà d'imposar les seves idees. D'altra banda, l'estudiant ha de tenir clar que no es tracta de buscar la ‘solució’ del problema en altres llocs, sino de fer una aportació original. Això no vol dir que s'hagi de renunciar a la informació que pugui existir en la bibliografia o a Internet; però quan se'n faci ús cal tenir informat el professor i explicar-ho en la memòria.

La realització del projecte ha de acabar en un programa i una memòria final. A més d'entregar-la en forma escrita, els resultats d'aquesta memòria seran objecte d'una exposició oral. Una i altra, memòria escrita i exposició oral, han d'anar dirigides principalment a l'entitat, segurament hipotètica, que hauria proposat el problema. Per regla general, els tecnicismes seran relegats a apartats concrets de la memòria escrita.

En les presentacions orals dels projectes s'espera que hi assisteixin tota la classes, i que aquests intervinguin mitjançant preguntes i observacions.

Nota: es reservaran 15 minuts d'una classe, dins del calendari establert pel centre/titulació, per a la complementació per part de l'alumnat de les enquestes d'avaluació de l'actuació del professorat i d'avaluació de l'assignatura/mòdul.


Avaluació

Activitats d'avaluació continuada

Títol Pes Hores ECTS Resultats d'aprenentatge
Nota Individual 30% 0 0 2, 3, 1, 4, 5
Nota Coavaluació Classe 10% 0 0 1
Nota Coavaluació Companys 10% 0 0 1
Nota Grupal 50% 5 0,2 2, 3, 1, 4, 6

Donat que la major part de la feina gira al voltant d'un conjunt de projectes que es desenvolupa al llarg de tot el curs, l'avaluació té un caràcter continuat, i no preveu el sistema d’avaluació única.

 

Metodologia de Avaluació

Al final de cada projecte els estudiants es farà una presentació oral del projecte i entregaran una memòria del treball realitzat. Ambdós seran avaluats per part dels professors de l'assignatura siguin o no els tutors. Els estudiants no realitzaran cap examen escrit. 

Per a l'avaluació  s'utilitzaran els següents INSTRUMENTS i ACTIVITATS:

  • Una avaluació feta pels professors a partir de la presentació dels projectes realitzat pel grup (qualitat del treball, presentació, memòria entregada). Nota Grupal (0 a 10) A partir de:
    • MEMORIA DEL PROJECTE: Document on s'explica el desenvolupament de la feina feta: plantejament del projecte, actes de reunions, informació buscada, explicació de l'aplicació implementada amb un petit manual d'usuari i proves i tests realitzats. El document haurà de contenir les següents seccions: introducció descrivint els objectius del projecte; secció de  metodologia explicant de manera raonada la solució implementada; experiments i resultats explicant el disseny experimental, métriques usades, tests realitzats i analisis dels resultats; conclusions incloent propostes de millora en base a l'anàlisi dels resultats.
    • PRESENTACIÓ: Presentació oral en 5-7 transparències sobre el projecte desenvolupat i resultats obtinguts. En finalitzar, els evaluadors faran preguntes que es tindran en compte en la nota individual de cada alumne. 
    • APLICACIÓ: programa desenvolupat amb el codi estructurat i comentat per tal de que espuguin replicar el projecte. 
  • Una avaluació individual a partir de les observacions fetes pels tutors en les sessions tutoritzades, on es tindrà en compte l'actitud, iniciativa, participació, assistència i puntualitat de l'alumne a les sessionsde grup. En la nota individual també es valorarà que l'alumne hagi participat en totes les parts de exposició oral: introducció, metodologia, resultats i conclusions. Nota Individual (0 a 10).  
  • Enquestes de co-avaluació i autoavaluació entre els membres del grup al final de cada projecte. Nota Coavaluació Companys (0 a 10).
  • Les presentacions orals es realitzen davant dels alumnes i els grups valoraran el treball dels seus companys a mode de ranking El grup que quedi en 1a possició rebrà 10 punts, el 2on 8 punts i així successivament.  Nota Coavaluació Classe (0 a 10).

 

Qualificacions

Cada projecte tindrà una nota que es calcularà de la següent manera: 

Nota Projecte =  0,5 * Nota Grupal +  0,3 * Nota Individual + 0,1 * Nota Coavaluació Companys + 0,1 * Nota Coavaluació Classe

on

  • La Nota Grupal avaluarà el treball presentat tan pel que fa a l'exposició oral com a la documentació entregada
  • La Nota Individual avaluarà la participació a classe i la resposta a les preguntes el día de la presentación
  • La Coavaluació dels companys avaluarà: la contribució individual al treball de l’equip, l'actitud en l’equip, el compliment de les responsabilitats i la gestió dels conflictes
  • La Coavaluació de la classe avaluarà: la qualitat de la presentació, la qualitat comunicativa, l'exposició dels resultats, la resposta de les preguntes dels avaluadors i la qualitat tècnica del treball

La nota final sortirà del la mitjana ponderada de lesnotes dels projectes realitzats. La ponderació serà la mateixa per tots els projectes 

 

Per aprovar l'assignatura s'hauran de cumplir tots els requeriments següents:

  • la nota final haurà de ser mes gran o igual que 5
  • haver  entregat tots els projectes.
  • la nota tots els projectes ha de ser superior o igual a 4

Per a distingir entre ‘suspens’ i ‘no presentat’ es fixa una data límit per a que els estudiants es puguin donar de baixa de l'avaluació, en el qual cas apareixeran com a ‘no presentats’. Per a donar-se de baixa caldrà comunicar-ho al professor, per escrit o mitjançant correu eletrònic, i obtenir un acús de rebuda.

Recuperació:

En cas que algun dels projectes la nota sigui inferior a 4, es podrà tornar a presentar el dia que és fixi com a examen de recuperació en els horaris publicats per la coordinació a la pagina web de l'escola

Matrícules d’honor: Atorgar una qualificació de matrícula d'honor és decisió del professorat responsable de l'assignatura. La normativa de la UAB indica que les MH només es podran concedir a estudiants que hagin obtingut una qualificació final igual o superior a 9.00 i el seu nombre no pot superar el 5% del total d’estudiants matriculats.

En el cas que el nombre d'estudiants amb nota superior o igual a 9 siguin més del 5% del total de matriculats, els criteris a aplicar en l'ordre enumerat a continuació seran els següents :

  1. Es prioritzen els que tenen Nota Individual més alta.
  2. Es prioritzen els que tenen Nota Coavaluació Companys més alta.
  3. Es prioritzen els que tenen Nota Coavaluació Classe més alta.

Procediment de revisió de les qualificacions

Els estudiants tindran dret a la revisió de les notes publicades en el lloc i els dies indicats.

 

Irregularitats per part de l’estudiant/a, còpia i plagi

Sense perjudici d'altres mesures disciplinàries que s'estimin oportunes, i d'acord amb la normativa acadèmica vigent, les irregularitats comeses per una estudiant que puguin conduir a una variació de la qualificació es qualificaran amb un zero (0). Per exemple, plagiar, copiar, deixar copiar... una activitat d'avaluació implicarà suspendre aquesta activitat d'avaluació amb un zero (0). Les activitats d'avaluació qualificades d'aquesta forma i per aquesta raó no seran recuperables. Si és necessari superar qualsevol d'aquestes activitats d'avaluació per aprovar l'assignatura, aquesta assignatura quedarà suspesa directament, sense oportunitat de recuperar-la en el mateix curs. 

 


Bibliografia

Forsyth & Ponce, Computer Vision: A Modern Approach, Pearson, 2002, ISBN 0130851981

Computer vision, Linda G. Shapiro and George C. Stockman.

Introductory techniques for 3-D computer vision, Emanuele Trucco and Alessandro Verri.


Programari

Python amb llibreries openCV, pytorch. Eventualment Matlab. En la mesura del possible es facilitarà acces a clusters de GPUs i CPUs


Llista d'idiomes

Nom Grup Idioma Semestre Torn
(PAUL) Pràctiques d'aula 811 Català primer quadrimestre matí-mixt