Logo UAB
2021/2022

Sistemes Multimèdia

Codi: 102754 Crèdits: 6
Titulació Tipus Curs Semestre
2502441 Enginyeria Informàtica OB 3 2
2502441 Enginyeria Informàtica OT 4 2
La metodologia docent i l'avaluació proposades a la guia poden experimentar alguna modificació en funció de les restriccions a la presencialitat que imposin les autoritats sanitàries.

Professor/a de contacte

Nom:
Jordi Serra Ruíz
Correu electrònic:
Jordi.Serra@uab.cat

Utilització d'idiomes a l'assignatura

Llengua vehicular majoritària:
català (cat)
Grup íntegre en anglès:
No
Grup íntegre en català:
Sí
Grup íntegre en espanyol:
No

Equip docent

Jordi Serra Ruíz

Prerequisits

  • Programació en Python.
  • Coneixements d'anglès a nivell escrit i oral bàsic.

Objectius

Les Tecnologies de la Informació pretenen aconseguir que en qualsevol lloc i en qualsevol moment puguem accedir -amb diferents tipus de dispositius i per diferents xarxes- a informació multimèdia. La Societat de la Informació és una de les aventures actuals i per a la seva construcció és necessari el desenvolupament d'idees i productes innovadors basats en les tecnologies esmentades.

Després d'introduir la convergència entre els diferents canals pels quals arriba als usuaris i usuàries la informació multimèdia (TV digital i internet), s'entra en els estàndards d’imatge JPEG i vídeo MPEG que permeten representar i transmetre aquesta informació.

La transmissió d'aquestes dades ja sigui pel canal Internet, pels de Televisió o pels de telefonia mòbil porta a algunes aplicacions característiques amb les corresponents interfícies d'usuari o usuària.

S'introdueixen els estàndards per poder descriure la metadata associada al Vídeo Digital i algunes tècniques d'anotació automàtica.

De cara a assolir un coneixement profund de la metodologia associada a la definició d'estàndards, es realitzaran i crearan estudis qualitatius i quantitatius sobre diversos algorismes coneguts.

Per últim s'introdueix el tema de Software as a Service (SaaS) des d'una perspectiva moderna de manipulació i gestió dels continguts multimèdia, fent servir les eines de Computació en el núvol com a element possibilitador de l'obtenció de valor a partir dels continguts digitals.

Els objectius presentats s'abordaran des d'una perspectiva teòrica, i també pràctica, incloent-hi l'edició d'informes tècnics.

Tota aquesta aproximació ve donada en el context de l'estudi dels llindars perceptius del sistema visual humà (HVS), la qual cosa ens permetrà entendre el perquè de les múltiples decisions tecnològiques.

Competències

    Enginyeria Informàtica
  • Adquirir hàbits de pensament.
  • Capacitat per a desenvolupar i avaluar sistemes interactius i de presentació d'informació complexa i la seva aplicació a la resolució de problemes de disseny d'interacció persona computadora.
  • Capacitat per dissenyar, desenvolupar, avaluar i assegurar l'accessibilitat, l'ergonomia, la usabilitat i la seguretat dels sistemes, serveis i aplicacions informàtiques, així com de la informació que gestionen.
  • Comunicació.

Resultats d'aprenentatge

  1. Aplicar els processos bàsics en continguts multimèdia per a la seva transmissió.
  2. Comunicar eficientment, oralment o per escrit, coneixements, resultats i habilitats, tant en entorns professionals com davant de públics no experts.
  3. Conèixer el funcionament dels diferents algoritmes de compresió de dades 1D i 2D.
  4. Desenvolupar la capacitat d'anàlisi, síntesi i prospectiva.
  5. Integrar a un sistema funcional mecanismes de streaming d'àudio i vídeo.
  6. Utilitzar l'anglès com l'idioma de comunicació i de relació professional de referència.

Continguts

TEMA 1

  1. El Sistema Visual Humà (HVS) com a element de definició tecnològica.
  2. Propietats estadístiques de les imatges.
  3. Els llindars perceptius: La redundància.

TEMA 2

  1. Codificació d'imatge: Eliminant la redundància espacial.
  2. JPEG Lossy.
  3. JPEG Lossless.

TEMA 3

  1. Codificació de vídeo: Eliminant la redundància temporal.
  2. El sistema de codificació de vídeo generalitzat.

TEMA 4

  1. MPEG: Cap a la codificació eficient de vídeo.
  2. MPEG-1.
  3. MPEG-2.

TEMA 5

  1. L'objecte multimèdia.
  2. MPEG-4.
  3. Advanced codecs.

TEMA 6

  1. Metadades: característiques, descriptors i codificació.
  2. MPEG-7.
  3. XML.

TEMA 7

  1. El sistema acústic humà.
  2. Transmissió del so.
  3. Format d'àudio WAV
  4. MPEG-4 Layer 3  (MP3)

TEMA 8

  1. Software as a Service Model (SaaS)
  2. Computació en el núvol per Multimèdia
  3. Multimedia Retrieval Systems
  4. Deep Learning networks for multimedia retrieval
  5. Aplicacions Futures

 

Metodologia

El procés d'aprenentatge es fonamentarà en els següents 3 tipus d'activitats: classes sobre fonaments teòrics, seminaris de problemes i sessions de pràctiques.

 

CLASSES DE FONAMENTS TEÒRICS

Durant aquestes sessions a l'aula, s'hi presentaran i s'hi discutiran els continguts de la matèria. Es proporcionarà materials digitals, impressions i referències bibliogràfiques. Seran classes de discussió activa en les que s'anirà avançant de manera constructiva en la identificació dels principals objectius, donant respostes i propostes de solució a mesura que evoluciona l'assignatura. Tots els materials estaran identificats a la web Caronte  (http://caronte.uab.cat)

 

SEMINARIS DE PROBLEMES

En aquestes activitats els i les alumnes s'endinsaran en l’anàlisi dels estàndards multimèdia, identificant les principals característiques. Per això estudiaran els white papers dels diversos estàndards i editaran els seus propis reports, desenvolupant les capacitats de creació de documents tècnics professionals.

El conjunt d'exercicis estarà orientat de manera constructiva, i així es començarà primer per documents tècnics senzills, per finalitzar en anàlisis qualitatius i quantitatius. Serà obligatori el lliurament de tots els reports proposats.

 

SESSIONS DE PRÀCTIQUES

Durant les sessions de pràctiques, es programaran filtres multimèdia que els permetin implementar i manipular els paràmetres dels codificadors MPEG i Cloud Computing Services. Amb aquesta aproximació, s’integraran els coneixements adquirits en les sessions teòriques i de problemes. Es faran servir eines que permetran obtenir els resultats quantitatius i qualitatius per a la realització dels reports.

Hi haurà 6 sessions de pràctiques que es realitzaran en laboratoris propis en grups de 3 persones. L’assistència a classe de pràctiques és OBLIGATÒRIA. Qualsevol falta s’haurà de comunicar per correu electrònic al professor responsable ABANS que acabi la sessió corresponent i s’haurà de justificar amb evidències per escrit.

En cas contrari la part de pràctiques estarà suspesa.

 

Els lliuraments de pràctiques consisteixen en:

  • Aplicacions multimèdia amb llibreries de compressió digital en imatges i vídeo.
  • Creació de filtres de transformació tant en imatges com en vídeo
  • Detecció automàtica de canvis d'escena en vídeos
  • Creació d'una aplicació multimèdia fent servir plataformes de cloud computing.

Nota: es reservaran 15 minuts d'una classe, dins del calendari establert pel centre/titulació, per a la complementació per part de l'alumnat de les enquestes d'avaluació de l'actuació del professorat i d'avaluació de l'assignatura/mòdul.

Activitats formatives

Títol Hores ECTS Resultats d'aprenentatge
Tipus: Dirigides      
CLASSES DE FONAMENTS TEÒRICS 26 1,04 1, 2, 3, 4
SEMINARIS DE PROBLEMES 12 0,48 3, 4, 5
SESSIONS DE PRÀCTIQUES 12 0,48 1, 3, 5
Tipus: Supervisades      
PROGRAMACIÓ D'APLICACIONS MULTIMEDIA (col·lectiva) 26 1,04 1, 3, 5
Tipus: Autònomes      
EDICIÓ DE REPORTS (individual i col·lectiva) 18 0,72 1, 2, 3, 4, 5, 6
ESTUDI INDIVIDUAL 25 1 1, 3, 4, 5
PROGRAMACIÓ DE CODIFICADORS DE VÍDEO (individual i col·lectiva) 25 1 1, 3, 5

Avaluació

 

L'avaluació es farà en un procés continu que tindrà en compte les avaluacions dels lliuraments per part del professor/a (distribuïdes al llarg de l'assignatura), i les discussions portades a terme durant les sessions teòriques, de problemes i de pràctiques.

 

TOTS els lliuraments són OBLIGATORIS i consisteixen en:

 1. REPORTS de la classe problemes:

  •   Lliurament de Report 1 (R1)    (15%)
  •   Lliurament de Report 2 (R2)    (20%)
  •   Lliurament de Report 3 (R3)    (30%)
  •   Lliurament de Report 4 (R4)    (35%)
  •   Presentació de R4 (R5)          (fins a 1 punt extra)

   R = R1+R2+R3+R4+R5

 

 2. Informes de les classes de PRÀCTIQUES presencials:

  •   Lliurament de la Sessió 1 (S1)
  •   Lliurament de la Sessió 2 (S2)
  •   Lliurament de la Sessió 3 (S3)
  •   Lliurament de la Sessió 4 (S4)
  •   Lliurament de la Sessió 5 (S5)
  •   Lliurament de la Sessió 6 (S6)
  S = (S1+S2+S3+S4+S5+S6) / 6

 

3. EXAMEN

  •   Examen Final (EF)

 

La NOTA FINAL serà calculada de la següent manera:

 

NOTA FINAL = 0.25 * EF + 0.25 * R + 0.5 * S

La nota mínima per fer mitja a les tres parts d'avaluació és 5.

 

A l'expedient apareixerà un 4,5 (suspès) en cas que el càlcul de la nota final sigui igual o superior a 5, però no s'arribi a la nota mínima en alguna de les activitats d’avaluació.

Les contribucions positives en les discussions arrodoniran els decimals de la nota cap amunt. Per tal d'optar a la Matrícula d'Honor és necessari haver tingut una actitud participativa en les discussions de classe.

Totes aquelles persones que hagin aprovat pràctiques, problemes o teoria el curs anterior podran convalidar-les amb un 5 la part corresponent.

 

En el cas que falti un lliurament obligatori, tant dels 5 de problemes com de les pràctiques, se suspendrà tota la part corresponent.

 

La no presentació a l'examen final (EF) implica un "no avaluable" a les actes.

Atorgar una qualificació de matrícula d’honor és decisió del professorat responsable de l’assignatura. La normativa de la UAB indica que les MH només es podran concedir a estudiants que hagin obtingut una qualificació final igual o superior a 9,00. Es pot atorgar fins a un 5% de MH del total d'estudiants matriculats.

 

Recuperacions de parts avaluables.

Els problemes no lliurats dins de termini es podran entregar a la mateixa Web Caronte fins al dia abans de l'examen de teoria fixat per l'escola. En aquest cas, cada problema lliurat tard s'avaluarà sobre una puntuació de 5.

Finalment, hi haurà una prova extraordinària que permetrà recuperar (obtenir un aprovat) a la part de Teoria en cas d'haver suspès el primer examen final (EF), la data del qual serà proposta per l'Escola(segon examen).

Les sessions de pràctiques en laboratori tancat NO seran recuperables si no s'aporta un justificant oficial. I quedarà a judici del professorat l'acceptació o no, de la incapacitat per poder fer la pràctica obligatòria en el dia original.

 

Tots els exàmens seran ajustats segons el calendari de l'Escola a menys que per circumstàncies alies es pacti una altra data. Les dates d'avaluació continuada i lliurament de treballs es publicaran a la web Caronte (http://caronte.uab.cat) i poden estar subjectes a canvis de programació per motius d'adaptació a possibles incidències; sempre s'informarà a través de la web Caronte sobre aquests canvis, ja que s'entén que la web Caronte és el mecanisme habitual d'intercanvi d'informació entre professorat i alumnat.

Per a cada activitat d’avaluació, es podrà acordar un lloc, data i hora de revisió en la qual l'estudiant podrà revisar l’activitat amb el professor. En aquest context, es podran fer reclamacions sobre la nota de l’activitat, que seran avaluades pel professorat responsable de l’assignatura. Si qui ho demana no es presenta a aquesta revisió, no es revisarà posteriorment aquesta activitat.

Sense perjudici d'altres mesures disciplinàries que s'estimin oportunes, i d'acord amb la normativa acadèmica vigent, les irregularitats comeses per un/a estudiant que puguin conduir a una variació de la qualificació es qualificaran amb un zero (0). Per exemple plagiar, copiar, deixar copiar, etc., una activitat d'avaluació, implicarà suspendre aquesta activitat d'avaluació amb un zero (0). Les activitats d'avaluació qualificades d'aquesta forma i per aquest procediment no seran recuperables. Si és necessari superar qualsevol d'aquestes activitats d'avaluació per aprovar l'assignatura, aquesta assignatura quedarà suspesa directament, sense oportunitat de recuperar-la en el mateix curs.

 

 

Activitats d'avaluació

Títol Pes Hores ECTS Resultats d'aprenentatge
Defensa dels reports 0,25 1 0,04 2, 3, 4, 6
Examen Final 0,25 1 0,04 1, 3, 4, 5
Lliurament de pràctiques 0,5 4 0,16 1, 3, 4, 5

Bibliografia

Material de l'assignatura: http://caronte.uab.es

 

El llibre de text principal és:

  • "Handbook of Image & Video Processing". Ed. Al Bovik. Academic Press.

 

Altres referències bàsiques:

  • Furht, B., Smoliar, S.W. Zhang, H. "Video and Processing in Multimedia Systems". KluwerAcademic Publishers. 1995.
  • Blanken, H. de Vries, A.P., Ernst Blok, H. Feng, L. "Multimedia Retrieval". Springer 2007
  • Benoit H. "Televisión Digital". Editorial Paraninfo, 1998.
  • Wang,Y., J. Ostermann, Zhang, Y. "Video Processing and Communications". Prentice Hall, 2002.

 Enllaços web de referència:

Programari

Serà necessari tenir instal·lat Python per la primera part de les pràctiques,

Per la segona part el programari és a elecció de cada un dels projectes que resultin, i que funcionin millor per assolir els objectius fixats.