Logo UAB
2021/2022

Xarxes Neuronals i Aprenentatge Profund

Codi: 104362 Crèdits: 6
Titulació Tipus Curs Semestre
2503758 Enginyeria de Dades OB 3 2
La metodologia docent i l'avaluació proposades a la guia poden experimentar alguna modificació en funció de les restriccions a la presencialitat que imposin les autoritats sanitàries.

Professor/a de contacte

Nom:
Ramón Baldrich Caselles
Correu electrònic:
Ramon.Baldrich@uab.cat

Utilització d'idiomes a l'assignatura

Llengua vehicular majoritària:
català (cat)
Grup íntegre en anglès:
No
Grup íntegre en català:
Grup íntegre en espanyol:
No

Prerequisits

Es fonamental haver adquirit una bona base matemàtica així com tenir un bon nivell de programació, prinicpalment en Python. És fonamental haver cursat l'assignatura d'Aprenentatge Computacional de primer semestre. Alguns dels conceptes desenvolupats en aquesta assignatura són la base del contingut i desenvolupament de les Xarxes Neurals

Objectius

Objectius i contextualització

Aquesta assignatura pretén donar una introducció pràctica als models de xarxes neuronals i l'aprenentatge profund.

Els estudiants consolidaran i ampliaran la seva formació teòrica, prenent com a base el coneixement adquirit en les materies anteriors relacionades amb l’aprenentatge automàtic., completant el seu perfil en aquest àmbit. L’objectiu de l’assignatura és acabar tenint un coneixement ampli dels conceptes, tècniques i estructures típiques de xarxes neurals, així com ser capaços d’entendre i aplicar la metodología particular d’aquestes tècniques a casos pràctics reals, i finalmente desenvolupar la capacitat d’escollir els mecanismos i estructures més adients per cada cas particular d’aplicació.

 

Competències

Fer un ús eficaç dels recursos bibliogràfics i recursos electrònics per obtenir informació.

Resoldre problemes relacionats amb l’anàlisi de grans volums de dades mitjançant el disseny d’intel·ligents sistemes i aprenentatge computacional.

Els estudiants han de ser capaços d’aplicar els seus coneixements a la seva feina o vocació de forma professional i hauran de poder establir arguments i habilitats de resolució de problemes.

Els estudiants han de ser capaços de comunicar informació, idees, problemes i solucions, tant per a públics especialitzats com no especialitzats.

Utilitzant criteris de qualitat, valorar críticament el propi treball realitzat.

Treballar de forma cooperativa en un context multidisciplinari assumint i respectant el paper dels diferents membres de l’equip.

Competències

  • Analitzar les dades de forma eficient per al desenvolupament de sistemes intel·ligents amb capacitat d’aprenentatge autònom i/o per mineria de dades.
  • Que els estudiants tinguin la capacitat de reunir i interpretar dades rellevants (normalment dins de la seva àrea d'estudi) per emetre judicis que incloguin una reflexió sobre temes destacats d'índole social, científica o ètica.
  • Treballar cooperativament, en entorns complexos o incerts i amb recursos limitats, en un context multidisciplinari, assumint i respectant el rol dels diferents membres de l’equip.

Resultats d'aprenentatge

  1. Dissenyar i implementar una estratègia integrada de tècniques estadístiques i d'intel·ligència artificial per al desenvolupament de sistemes descriptius i predictius.
  2. Que els estudiants tinguin la capacitat de reunir i interpretar dades rellevants (normalment dins de la seva àrea d'estudi) per emetre judicis que incloguin una reflexió sobre temes destacats d'índole social, científica o ètica.
  3. Treballar cooperativament, en entorns complexos o incerts i amb recursos limitats, en un context multidisciplinari, assumint i respectant el rol dels diferents membres de l’equip.

Continguts

1 Introducció i bases de les Xarxes neurals

-regresió logística

-perceptró

-funció d'activació

-descens del gradient

-MLP

-backpropagation

 

2 Aspectes pràctics de les Xarxes Neurals

- Overfitting

- Regularització

- Dropout

- Normalització d'entrada

- Vanishing / exploding gradients

- Inicialització de pesos

- Comprovació del gradient

 

3 Xarxes Convolucionals

- Visió per Computador

- Qué és la convolució

- Padding, stride convolutions

- Algebra dels filtres

- pooling layers

- regressio softmax

- primers xarxes: AlexNet, VGG

 

4 Casos d'estudi en CNN: Classificació

- inception

- xarxes residuals

- networ in network: convolució de 1x1

 

5 Aspectes pràctics de les Xarxes Neurals II

- Ajust d'hiperparametres

- Normalitzacio d'activacions, batch norm

- Data augmentation

- Transfer Learning

 

6 CNN: detecció d'objectes

- detecció d'objectes vs classificació

- predicció de caixes

- mètrica: intersection over union

- Non-max supression

- Caixes ancora

- Xarxes Base: Yolo, FasterRCNN

 

7 Xarxes sequencials: Recurrent Neural Networks

- Model de xarxes neurals recurrents

- Backpropagation en el temps

- Tipus de RNN

- Model de llenguatge i generació de sequències

- GRU & LSTM

- Word2vec

 

Metodologia

Tota la informació de l'assignatura i els documents relacionats que els estudiants necessitin es trobaran a la pàgina de Campus Virtual (http://cv.uab.cat/).

Les diferents activitats que es duran a terme en l’assignatura s’organitzen de la següent manera:

Classes de teoria

S’exposaran els principals conceptes i algorismes de cada tema de teoria. Aquests temes suposen el punt de partida en el treball de l’assignatura.

Seminaris de problemes

Seran classes amb grups reduïts d'estudiants, que facilitin la interacció, o de càracter individual, segons els casos. En aquestes classes es plantejaran casos pràctics que requereixin el disseny d'una solució en la que es facin servir els mètodes vistos a les classes de teoria. És impossible seguir les classes de problemes si no es segueixen els continguts de les classes de teoria. El resultat d'aquestes sessions és la resolució dels problemes que s'hauran d'entregar obligatòriament de foma setmanal. El mecanisme específic per a l'entrega, així com el mecanisme d'avaluació, s'indicarà en la pàgina web de l'assignatura (espai Caronte).

Pràctiques de laboratori

Els grups de treball estaran formats per grups de 3-4 alumnes i s’hauran de formar la segona setmana del curs. Aquests grups de treball s’hauran de mantenir fins el final del curs i s’hauran d’autogestionar: repartiment de rols, planificació del treball, assignació de tasques, gestió dels recursos disponibles, conflictes, etc. Tot i que el professor guiarà el procés d’aprenentatge, la seva intervenció en la gestió dels grups serà mínima.

A l’inici del curs, es presentaran els problemes a resoldre i els alumnes definiran el seu propiprojecte. Al llarg del semestre, els alumnes treballaran en grups cooperatius i hauran d’analitzar el problema escollit, dissenyar i implementar solucions basades en diferents algorismes d’aprenentatge computacional vistos a classe, analitzar els resultats obtinguts en cada un dels mètodes i defensar el seu projecte en públic.

Per desenvolupar el projecte, els grups treballaran de forma autònoma i les sessions de pràctiques s’han de dedicar principalment a resoldre dubtes amb el professor que farà el seguiment de l’estat del projecte, indicarà errors a corregir, proposarà millores, etc.

Algunes de les sessions es marcaran com sessions de control en les que s’haurà de lliurar alguna part del projecte. En aquestes sessions els grups hauran d’explicar la feina feta i el professor farà qüestions a tots els membres del grup per valorar la feina realitzada. L’assistència a aquestes sessions és obligatòria.

En la darrera sessió de cada un dels projectes de pràctiques, els grups faran una presentació del projecte on explicaran el projecte desenvolupat, la solució adoptada i els resultats obtinguts. En aquesta presentació cada membre del grup haurà de fer una part de la presentació.

Nota: es reservaran 15 minuts d'una classe, dins del calendari establert pel centre/titulació, per a la complementació per part de l'alumnat de les enquestes d'avaluació de l'actuació del professorat i d'avaluació de l'assignatura/mòdul.

Activitats formatives

Títol Hores ECTS Resultats d'aprenentatge
Tipus: Dirigides      
Contingut teoric 22 0,88 1, 2
Tipus: Supervisades      
Classes pràctiques 16 0,64 1, 3
serminaris 10 0,4 1, 2
Tipus: Autònomes      
Preparació i realitzacio dels projectes pràctics 52 2,08 1, 2, 3
estudi 28 1,12 1, 2

Avaluació

Activitats i instruments d’avaluació:

Per avaluar l'assoliment dels coneixements i competències associats a l'assignatura s'estableix un mecanisme d'avaluació que combina l'assimilació dels coneixements, la capacitat de resolució de problemes, i de forma significativa, la capacitat de generar solucions computacionals a problemes complexos, tant grupal com individualment.

Amb aquest objectiu es divideix l'avaluació en tres parts:

Avaluació de continguts

La nota final de continguts es calcularà a partir de varis exàmens parcials:

Nota Continguts = 1/N * Prova_i

El número de proves pot variar i com a mínim seran 2. Per a poder tenir una nota de continguts caldrà que les notes dels cada un dels proves sigui superior a 4.

Les proves parcials es faran durant el curs i eminenment seran de contingut conceptual on respondre a diferents preguntes sobre el contingut desenvolupat a les sessions ‘teoriques’.

Aquestes proves pretenen ser una avaluació individualitzada de l'estudiant amb les seves capacitats d'entendre les tècnique sexplicades a classe així com avaluar el nivell de conceptualització que l'estudiant n'ha fet de les tècniques vistes.

Tests de recuperació. En cas que la nota de continguts no arribi al nivell adequat en alguna de les proves, per obtenir una nota final suficient per considerar l'assoliment dels coneixements, els estudiants es poden presentar a l'examen de la convocatòria de l'assignatura i tornar a fer un examen que avaluï els continguts vists a l'assignatura de la/les part/s no superada/es. En cas de presentar-se per pujar nota, prevaleix la notamés alta.

No hi ha convalidacions en cas que s'hagués superat la part teòrica en anys anteriors.

Avaluació del treball en els seminaris de problemes

Els problemes tenen com objectiu provocar que l'estudiant entri en els continguts de l'assignatura de manera continuada i a partir de petits problemes que facin que es familiaritzi directament en l'aplicació de la teoria. Com a evidència d'aquest treball es demana la presentació d'un portfoli en el que haurà anat guardant els problemes que haurà anat realitzant. Aquest portfoli tindrà entrega setmanal digital. L'alumne podrà autoavaluar-se continuament ja que disposarà de les solcuions de cada un dels conjunts de problemes un cop finalitzat el període d'entrega. Juntament amb les hores de tutoria per si apareixen dubtes, és suficient per a que cada alumne identifiqui els seus punts febles.

Avaluació de la defensa de les solucions a problemes

Com a mínim dos cops durant el curs, cada alumne haruà de defensar, be oralment o de forma escrita les solucions que ha aportat com a solució en els seminaris de problemes. Aquesta avaluació serà individual i podrà centrar-se en un subconjut de problemes.

Eventualment es pot plantejar problemes de més calat de forma no dirigida als que s'haurà de presentar una solució computacional.

La nota final de l’assignatura s’obté combinant l’avaluació d’aquestes 3 activitats de la manera següent:

Nota Final = (0.3 * Continguts) + (0.5 * defensa de solucions computacionals) + (0.2 * Portfoli)

Condicions per a superar l'assignatura:

  • La nota final de continguts ha de ser més gran o igual que 4 per poder aprovar l’assignatura.
  • La nota del portfoli i de la defensa desolucions (per separat) ha de ser més gran o igual que 6 per poder aprovar l’assignatura.

En cas que la nota, aplicant la fórmula de l'apartat anterior ("nota final de l'assignatura"), fos superior a 5 però no s'hagués superat el mínim exigit en alguna de les parts, la nota final en l'expedient serà un 4,5.

S'assignaran tantes matrícules d'honor com la normativa vigent permeti sempre i quan la nota sigui superior a 9.0. L'assignació de les matrícules es farà seguint l'ordre de notes. En cas d'haver-hi múltiples candidats amb la mateixa avaluació susceptibles de rebre Md'H es proposaran activitats suplementàries per a determinar el/s millor/s candidat/s.

L'alumne es qualificarà com "No Avaluable" si no té cap part avaluada ni dels continguts teòrics ni dels continguts pràctics.

Avisos importants:

  • Les dates d'avaluació continuada i lliurament de treballs, així com tot el material docent es publicaran al campus virtual (http://cv.uab.cat/), a l'espai d'aquesta assignatura ipoden estar subjectes a canvis de programació per motius d'adaptació a possibles incidències. Sempre s'informarà a cerbero.uab.cat sobre aquests canvis ja que s’entén que  CV esdevindrà el mecanisme habitual d'intercanvi d'informació entre professor i estudiants.
  • Per a cada activitat d’avaluació, s’indicarà un lloc, data i hora de revisió en la que l'estudiant podrà revisar l’activitat amb el professor. En aquest context, es podran fer reclamacions sobre la nota de l’activitat, que seran avaluades pel professorat responsable de l’assignatura. Si l'estudiant no es presenta a aquesta revisió, no es revisarà posteriorment aquestaactivitat.
  • Sense perjudici d'altres mesures disciplinàries que s'estimin oportunes, i d'acord amb la normativa acadèmica vigent, les  irregularitats comeses per un estudiant que puguin conduir a una variació de la qualificació en una activitat avaluable es qualificaran amb un zero (0). Les  activitats d'avaluació qualificades d'aquestaforma i per aquest procediment no seran recuperables. Si és necessari superar qualsevol d'aquestes activitats d'avaluació per aprovar l'assignatura,aquesta assignatura quedarà suspesa directament, sense oportunitat de  recuperar-la en el mateix curs. Aquestes irregularitats inclouen, entre d'altres:

-  la còpia total o parcial d'una pràctica, informe, o qualsevol altra activitat d'avaluació;

-  deixar copiar;

-  presentar untreball de grup no fetíntegrament pels membres del grup (aplicat a tots els membres, no solament els què no han treballat);

-  presentar com a propis materials elaborats per un tercer, encara que  siguin traduccions o adaptacions, i en general treballs amb elements no originals i exclusius de l'estudiant;

-  tenir dispositius digitals i/o de comunicació (com telèfons mòbils, smart watches, boligrafs amb càmera, etc.) accessibles durant les proves d'avaluació teorico-pràctiques individuals (exàmens).

-  parlar amb companys durant les proves d'avaluació teorico-pràctiques individuals (exàmens).

-  observar/mirar les proves d'avaluació  teorico-pràctiques (exàmens) d'altres companys durant la realització de la mateixa, encara que no s'hagi procedit a la còpia.

 - observar/mirar en la taula, fulls, paret etc escrits relacionats amb la materia durant la realització de lesproves d'avaluació teorico-pràctiques (exàmens) encara que no s'hagi procedit a la còpia.

La nota numèrica de l'expedient serà el valor menor entre 3.0 i la mitjana ponderada de les notes en cas que l'estudiant hagi comès irregularitats en un acte d'avaluació (i per tant no serà possiblel'aprovatper compensació). En resum: copiar, deixar copiar o plagiar (o l'intent de) en qualsevol de les activitats d'avaluació equival a un SUSPENS amb nota inferior a 3,5.

Activitats d'avaluació

Títol Pes Hores ECTS Resultats d'aprenentatge
Defensa del les solucions a problemes (codi+presentació+seguiment) 50% 10 0,4 1, 2, 3
Portfolio problemes 20 5 0,2 1, 2
Proves de concepte 30% 7 0,28 1, 2

Bibliografia

Bibliography

Web links

Bibliografia bàsica

  •  Deep learning with Python, François Chollet, Manning Publications, 1st Ed., 2017
  • Pattern Recognition and Machine Learning, Christopher Bishop, Springer, 2011
  • Neural Networks for Pattern Recognition, Christopher Bishop, Oxford University Press, 1st ed., 1996

Programari

No s'usarà cap programmari especial apart dels habituals en aquests estudis.