Logo UAB

Paradigmes d'Aprenentatge Automàtic

Codi: 106574 Crèdits: 6
2024/2025
Titulació Tipus Curs
2504392 Intel·ligència Artificial / Artificial Intelligence OT 3
2504392 Intel·ligència Artificial / Artificial Intelligence OT 4

Professor/a de contacte

Nom:
Jordi Casas Roma
Correu electrònic:
jordi.casas.roma@uab.cat

Idiomes dels grups

Podeu consultar aquesta informació al final del document.


Prerequisits

És important haver cursat les assignatures "Fundaments de l'aprenentatge automàtic" i "Xarxes neuronals i aprenentatge profund".


Objectius

L'objectiu d'aquesta assignatura és proporcionar una formació integral en una àmplia gamma de metodologies, tècniques i algorismes en l'aprenentatge per reforç.

Els estudiants aprendran, implementaran i utilitzaran una sèrie de tècniques i algorismes que cobreixen els mètodes d'aprenentatge més rellevants.

Obtindran les seves pròpies implementacions, així com exploraran les biblioteques existents i aplicaran aquests nous coneixements per resoldre problemes pràctics.


Competències

    Intel·ligència Artificial / Artificial Intelligence
  • Actuar en l’àmbit de coneixement propi valorant l’impacte social, econòmic i mediambiental.
  • Analitzar i resoldre problemes de manera efectiva, i generar propostes innovadores i creatives per aconseguir els objectius.
  • Elaborar estratègies per formular i solucionar diferents problemes d’aprenentatge de manera científica, creativa, crítica i sistemàtica, coneixent les capacitats i limitacions dels diferents mètodes i eines existents.
  • Introduir canvis en els mètodes i els processos de l’àmbit de coneixement per donar respostes innovadores a les necessitats i demandes de la societat. 
  • Que els estudiants tinguin la capacitat de reunir i interpretar dades rellevants (normalment dins de la seva àrea d'estudi) per emetre judicis que incloguin una reflexió sobre temes destacats d'índole social, científica o ètica.
  • Treballar cooperativament per aconseguir objectius comuns, assumint la pròpia responsabilitat i respectant el rol dels diferents membres de l’equip.

Resultats d'aprenentatge

  1. Adaptar i reutilitzar models existents en dominis diferents.
  2. Analitzar i resoldre problemes de manera efectiva, i generar propostes innovadores i creatives per aconseguir els objectius.
  3. Conèixer diferents paradigmes d’aprenentatge automàtic i decidir el mètode d’aprenentatge més adequat segons les característiques de les dades a analitzar.
  4. Identificar les implicacions socials, econòmiques i mediambientals de les activitats academicoprofessionals de l’àmbit de coneixement propi.
  5. Ponderar els riscos i les oportunitats de les propostes de millora tant pròpies com alienes.
  6. Proposar noves maneres de mesurar l’èxit o el fracàs de la implementació de propostes o idees innovadores.
  7. Que els estudiants tinguin la capacitat de reunir i interpretar dades rellevants (normalment dins de la seva àrea d'estudi) per emetre judicis que incloguin una reflexió sobre temes destacats d'índole social, científica o ètica.
  8. Treballar cooperativament per aconseguir objectius comuns, assumint la pròpia responsabilitat i respectant el rol dels diferents membres de l’equip.

Continguts

  • Introduction and Gymnasium
    • Introduction to RL and Gymnasium library.
  • Tabular solutions
    • Markov Decision Process
    • Dynamic Programming
    • Monte Carlo
    • TD learning
  • Approximate solutions
    • Deep Q-Networks
    • Policy Gradients
    • Actor-Critic
  • Real-world problems
    • Environment design and implementation

Activitats formatives i Metodologia

Títol Hores ECTS Resultats d'aprenentatge
Tipus: Dirigides      
Exercicis pràctics no avaluables 21 0,84 1, 2, 3
Teoria 21 0,84 1, 6, 3
Tipus: Autònomes      
Activitats pràctiques avaluables 42 1,68 1, 6, 7, 3, 5
Projecte 50 2 1, 2, 6, 7, 3, 8

Hi haurà tres tipus d'activitats docents:

  1. Sessions de teoria
  2. Exercicis pràctics avaluables
  3. Tests de teoria
  4. Projecte

Sessions teòriques: Presentació dels continguts teòrics de l'assignatura. Per a cadascun dels temes estudiats s'exposen els principals conceptes teòrics i la formulació matemàtica, així com les solucions algorítmiques corresponents. A més, es podrien proposar exercicis pràctics no avaluables per tal de reforçar la comprensió dels temes tractats a les classes de teoria. Durant aquestes sessions, tractarem la resolució d'exercicis pràctics (problemes) en entorn Python.

Exercicis pràctics avaluables: Aquests exercicis pràctics es realitzaran durant el quadrimestre, on l'estudiant haurà de resoldre individualment un conjunt de problemes sobre els continguts de l'assignatura.

Tests de teoria: Es realitzaran un conjunt de test de teoria a través de la plataforma Moodle de manera individual durant el semestre.

Projecte: El projecte es realitzarà durant el semestre, on els estudiants hauran de resoldre un problema concret de certa complexitat. Els projectes es resoldran en grups de 2 alumnes. Aquests grups de treball s'han de mantenir durant el desenvolupament de tot el projecte i han de ser autogestionats pel que fa a la distribució de rols, planificació del treball, assignació de tasques, gestió dels recursos disponibles, conflictes, etc. Cada grup treballarà de manera autònoma per desenvolupar el projecte.

Les activitats anteriors es complementaran amb un sistema de tutoria i consultes fora de l'horari lectiu.

Tota la informació de l'assignatura i la documentació relacionada que necessiti l'alumnat estarà disponible al campus virtual (cv.uab.cat).

Nota: es reservaran 15 minuts d'una classe, dins del calendari establert pel centre/titulació, per a la complementació per part de l'alumnat de les enquestes d'avaluació de l'actuació del professorat i d'avaluació de l'assignatura/mòdul.


Avaluació

Activitats d'avaluació continuada

Títol Pes Hores ECTS Resultats d'aprenentatge
Activitats pràctiques 20% 4 0,16 1, 2, 7, 3
Entregable del projecte 20% 4 0,16 1, 2, 6, 7, 3, 8
Exàmens individuals 40% 4 0,16 4, 3
Presentació del projecte 10% 2 0,08 2, 6, 3, 5, 8
Test de teoria 10% 2 0,08 7, 3

Per avaluar el nivell d'aprenentatge de l'alumnat s'estableix una fórmula que combina l'adquisició de coneixements i la capacitat de resolució de problemes.

Nota final

La nota final es calcula mitjançant la fórmula següent:

Nota final = 0,4 * Teoria + 0,1 * Tests de teoria + 0,2 * Activitats pràctiques + 0,3 * Projecte

Aquesta fórmula s'aplicarà sempre que la nota de teoria i el projecte siguin >=5.

Si la nota final calculada a través de la fórmula esmentada arriba a >= 5, però no arriba al mínim exigit en alguna de les activitats d'avaluació, la nota final serà de 4,5.

1. Teoria

La nota de teoria pretén avaluar les capacitats individuals de l'estudiant pel que fa als continguts teòrics de l'assignatura, això es fa de manera continuada durant el curs mitjançant dos exàmens parcials:

Nota de teoria = 0,5 * Grau examen 1 + 0,5 * Grau examen 2

L'examen parcial (examen 1) es fa a la meitat del quadrimestre, i serveix per eliminar part de l'assignatura si s'aprova. L'examen final (examen 2) es fa al final del quadrimestre i serveix per eliminar la resta de l'assignatura si s'aprova.

Per obtenir una nota final de teoria aprovada, caldrà que les notes 1 i 2 de l'examen parcial siguin totes dues >=4.

En cas que la nota de teoria no arribi al nivell adequat per aprovar, els estudiants poden realitzar un examen de recuperació, destinat a recuperar la part suspesa (1, 2 o totes dues) del procés d'avaluació contínua.

2. Tests de teoria

L'objectiu de les proves teòriques és aprofundiren els conceptes teòrics.

Proves de teoria = Ponderació igual de totes les proves del curs

3. Activitats pràctiques

L'objectiu de les activitats pràctiques és familiaritzar-se amb la implementació pràctica dels conceptes teòrics.

Activitats pràctiques = Igual ponderació de tots els exercicis pràctics del curs

4. Projecte

El projecte requereix que els alumnes treballin en grup i dissenyin una solució integral al repte definit. A més, els alumnes han de demostrar les seves habilitats de treball en equip i presentar els resultats a classe.

Cadascun dels dos projectes s'avalua mitjançant el seu lliurament i una exposició oral a la classe. La participació de l'alumnat en totes les activitats (elaboració del lliurament i presentació) és necessària per obtenir la qualificació d'un projecte.

La nota del projecte es calcula de la següent manera:

Projecte = 0,7 * Entregables + 0,3 * Presentació

Si realitzant el càlcul anterior s'obté una nota >= 5, però l'estudiant no ha participat en alguna de les activitats (entregable, presentació), es donarà una nota final de 4,5 al projecte.

No hi ha recuperació dels projectes: en cas de no presentar un lliurament o obtenir una nota <5, l'estudiant no podrà aprovar l'assignatura.

Notes importants

Sense perjudici d'altres mesures disciplinàries que s'estimin oportunes, i d'acord amb la normativa acadèmica vigent, la comissió d'activitats irregulars per part de l'estudiant (per exemple, plagiar, copiar, deixar copiar, ...) implicarà suspendre l'activitat corresponent amb un zero (0). Les activitats d'avaluació qualificades d'aquesta forma i per aquest procediment no seran recuperables.

En cas que no es faci cap lliurament de problemes, no s'assisteixi a cap sessió de presentació dels projectes i noes faci cap examen, la nota corresponent serà un "no avaluable". En un altre cas, els "no presentats" computen com un 0 per al càlcul de la mitjana ponderada.

Per obtenir matrícula d'honor, la qualificació final ha de ser igual o superior a 9 punts. El nombre d'estudiants està inscrit al curs, se li atorga a qui tingui la qualificació final més alta. En cas d'empat, es veuran en compte els resultats dels exàmens parcials.


Bibliografia

  • Reinforcement Learning: An Introduction (Second edition). R. S. Sutton, A. G. Barto, MIT Press, Cambridge, MA, 2018.
  • Deep Reinforcement Learning Hands-On. M. Lapan, Packt Publishing, 2018.

Programari

Utilitzarem Python, les biblioteques estàndard d'aprenentatge automàtic (com ara NumPy, MatPlotLib, SciKit Learn, Pandas, etc.) i la biblioteca Gymnasium per a exercicis pràctics d'aprenentatge de reforç.


Llista d'idiomes

Nom Grup Idioma Semestre Torn
(PAUL) Pràctiques d'aula 1 Anglès primer quadrimestre tarda
(PLAB) Pràctiques de laboratori 1 Anglès primer quadrimestre tarda
(TE) Teoria 1 Anglès primer quadrimestre tarda