Logo UAB
2023/2024

Visió 3D

Codi: 44775 Crèdits: 6
Titulació Tipus Curs Semestre
4318299 Visió per Computador OB 0 1

Professor/a de contacte

Nom:
Maria Isabel Vanrell Martorell
Correu electrònic:
maria.vanrell@uab.cat

Idiomes dels grups

Podeu accedir-hi des d'aquest enllaç. Per consultar l'idioma us caldrà introduir el CODI de l'assignatura. Tingueu en compte que la informació és provisional fins a 30 de novembre de 2023.

Equip docent

Josep Ramon Casas Pla
Javier Ruiz Hidalgo
Gloria Haro Ortega
Federico Sukno

Equip docent extern a la UAB

Marc Pérez

Prerequisits

Grau en Enginyeria, Matemàtiques, Física o similar. 


Objectius

Coordinadora del mòdul: Dr. Gloria Haro

L’objectiu d’aquest mòdul és aprendre els principis de la reconstrucció en 3D d’un objecte o d’una escena a partir de múltiples imatges o vídeos estereoscòpics. Per això, primer s’introdueixen els conceptes bàsics de la geometria projectiva i l’espai 3D. La resta d'aspectes i aplicacions teòriques es basen en aquestes eines bàsiques. S’estudiarà el mapeig del món 3D al pla de la imatge, tot introduint diferents models de càmera, els seus paràmetres i la forma d’estimar-los (calibració de la càmera i auto-calibració). S’estudiarà la geometria que relaciona un parell de vistes. Tots aquests conceptes s'aplicaran per obtenir una reconstrucció 3D en les dues principals situacions possibles: càmeres calibrades o sense calibrar. En particular, aprendrem a: estimar la profunditat dels punts d’una imatge, extreure els punts 3D subjacents donats un conjunt de correspondències puntuals a les imatges, generar vistes noves, estimar l’objecte 3D donat un conjunt d’imatges calibrades en color o imatges binàries, i estimar un conjunt de punts 3D donat un conjunt d’imatges no calibrades. S’estudiarà la representació 3D en voxels i malles. Explicarem la reconstrucció i modelatge a partir de les dades de Kinect, com un model particular de sensors que proporcionen una imatge de l'escena junt amb les seves profunditats. Finalment, veurem algunes tècniques per processar núvols de punts 3D. Els conceptes i tècniques apreses en aquest mòdul s’utilitzen en aplicacions reals que van des de la realitat augmentada, la digitalització d’objectes, la captura demoviment, la síntesi de noves vistes, la generació d'efectes especials, la robòtica, etc.


Resultats d'aprenentatge

  • CA01 (Competència) Integrar la formulació de tots els components d'un sistema complet de recuperació i síntesi d'informació 3D.
  • CA06 (Competència) Aconseguir els objectius d'un projecte de visió fet en equip.
  • KA04 (Coneixement) Identificar els problemes bàsics que cal solucionar en un problema de recuperació de la informació 3D d'una escena.
  • KA12 (Coneixement) Proporcionar la millor formulació geomètrica necessària per a modelitzar totes les parts d'un problema de recuperació de la informació 3D d'una escena.
  • SA04 (Habilitat) Resoldre un problema de recuperació d'informació 3D i avaluar-ne els resultats.
  • SA10 (Habilitat) Definir els millors conjunts de dades per entrenar arquitectures de visió 3D.
  • SA15 (Habilitat) Preparar un informe que descrigui, justifiqui i il·lustri el desenvolupament d'un projecte de visió.
  • SA17 (Habilitat) Preparar presentacions orals que permetin debatre els resultats del desenvolupament d'un projecte de visió.

Continguts

  1. Introducció i aplicacions.
  2. Geometria projectiva 2D. Transformacions planars.
  3. Estimació de la homografia. Rectificació afí i mètrica
  4. Geometria projectiva 3D i transformacions. Models de càmeres.
  5. Calibració de càmera. Estimació de posa.
  6. Geometria epipolar. Matriu fonamental Matriu essencial. Extracció de matrius de càmera.
  7. Càlcul de la matriu fonamental. Rectificació de la imatge.
  8. Mètodes de triangulació. Càlcul de profunditat. Síntesi de noves vistes.
  9. Estèreo multi-vista. Structure from motion.
  10. Autocalibració. Bundle adjustment.
  11. Sensors 3D (kinect).
  12. Processament de núvols de punts.

Metodologia

Sessions supervisades: (Algunes d'aquestes sessions podrien ser en línia síncròniques)

  • Sessions de teoria, on els professors expliquen continguts generals sobre els diferents temes. Alguns d'ells s'empraran per resoldre els problemes.

Sessions dirigides:  

  • Sessions de projecte, on els problemes i els objectius dels projectes seran presentats i discutits, els estudiants interactuaran amb el coordinador del projecte sobre problemes i idees per resoldre el projecte (aprox. 1 hora/setmana).
  • Sessió de presentació, on els estudiants fan una presentació oral sobre com han resolt el projecte i una demostració dels resultats.
  • Sessió d'examen, on els estudiants són avaluats de forma individual sobre el coneixement obtingut i les habilitats per resoldre problemes.

Treball autònom:

  • L'estudiant estudiarà de forma autònoma i treballarà els materials derivats de les sessions teòriques.
  • L'estudiant treballarà en grups per a resoldre els problemes del projecte amb entregues de:
    • Codi
    • Informes
    • Presentació oral

Nota: es reservaran 15 minuts d'una classe, dins del calendari establert pel centre/titulació, per a la complementació per part de l'alumnat de les enquestes d'avaluació de l'actuació del professorat i d'avaluació de l'assignatura/mòdul.


Activitats formatives

Títol Hores ECTS Resultats d'aprenentatge
Tipus: Dirigides      
Sessions teòriques 20 0,8 KA04, KA12
Tipus: Supervisades      
Sessions de seguiment de projectes 8 0,32 CA01, CA06, SA04, SA10, SA15, SA17
Tipus: Autònomes      
Treball autònom 113 4,52 CA01, CA06, SA04, SA10, SA15, SA17

Avaluació

La nota final d’aquest mòdul es calcularà amb la següent fórmula:

Nota final = 0,4 x Examen + 0,55 x Projecte + 0,05 x Assistència

on,

Examen: és la nota obtinguda a l'examen del mòdul (ha de ser> = 3).

Assistència: és la nota derivada del control d'assistència a les sessions (mínim 70%)

Projecte: és la nota proporcionada pel coordinador del projecte a partir del seguiment setmanal del projecte i dels lliuraments (ha de ser> = 5). Tot plegat amb criteris específics com ara:

  • Desenvolupament de codis (estil, comentaris, etc.).
  • Participació en sessions de discussió i en el treball en equip (avaluacions entre membres).
  • Lliurament de les parts obligatòries i opcionals del projecte.
  • Informe (justificació de les decisions en el desenvolupament del projecte).
  • Presentació i examen (Presentació, explicacions i demostracions sobre el projecte desenvolupat). 

Només els estudiants que han suspès (Nota final < 5.0) poden fer l'examen de recuperació.


Activitats d'avaluació continuada

Títol Pes Hores ECTS Resultats d'aprenentatge
Assistència a sessions 0.05 0,5 0,02 CA06, KA04, KA12
Examen 0.4 2,5 0,1 KA04, KA12
Projecte 0.55 6 0,24 CA01, CA06, SA04, SA10, SA15, SA17

Bibliografia

Llibres:

  1. O. Faugeras, Three-dimensional computer vision: a geometric viewpoint, MIT Press, cop. 1993.
  2. O. Faugeras, Q.T. Loung, The geometry of multiple images, MIT Press, 2001.
  3. D. A. Forsyth, J. Ponce, Computer vision: a modern approach, Prentice Hall, 2003.
  4. R. I. Hartley, A. Zisserman, Multiple view geometry in computer vision, Cambridge University Press, 2000.
  5. R. Szeliski, Computer Vision: Algorithms and Applications, Springer, 2011. 

Tutorials:

  1. Y. Furukawa and C. Hernández, Multi-View Stereo: A Tutorial, Foundations and Trends® in Computer Graphics and Vision, vol. 9, no. 1-2, pp.1-148, 2013.
  2. T. Moons, L. Van Gool, M. Vergauwen, 3D Reconstruction from Multiple Images Part 1, Principles, Foundations and Trends® in Computer Graphics and Vision, vol. 4: no. 4, pp 287-404, 2010. 

Programari

Entorn de programació en Python amb especial atenció a les llibreries de visió per computador i processament d'imatges.