Paradigmas de Aprendizaje Automático
Código: 106574 Créditos ECTS: 6| Titulación | Tipo | Curso |
|---|---|---|
| 2504392 Inteligencia Artificial / Artificial Intelligence | OT | 3 |
| 2504392 Inteligencia Artificial / Artificial Intelligence | OT | 4 |
Contacto
- Nombre:
- Jordi Casas Roma
- Correo electrónico:
- jordi.casas.roma@uab.cat
Idiomas de los grupos
Puede consultar esta información al final del documento.
Prerrequisitos
Es importante haber cursado las asignaturas "Fundamentos de Machine Learning" y "Redes Neuronales y Aprendizaje Profundo".
Objetivos y contextualización
El objetivo de esta asignatura es proporcionar una formación integral en una amplia gama de metodologías, técnicas y algoritmos en el aprendizaje por refuerzo.
Los estudiantes aprenderán, implementarán y utilizarán una variedad de técnicas y algoritmos que cubren los métodos de aprendizaje más relevantes.
Obtendrán sus propias implementaciones, explorarán bibliotecas existentes y aplicarán este nuevo conocimiento para resolver problemas prácticos.
Competencias
- Inteligencia Artificial / Artificial Intelligence
- Actuar en el ámbito de conocimiento propio valorando el impacto social, económico y medioambiental.
- Analizar y resolver problemas de forma efectiva, generando propuestas innovadoras y creativas para alcanzar los objetivos.
- Elaborar estrategias para formular y solucionar diferentes problemas de aprendizaje de manera científica, creativa, crítica y sistemática, conociendo las capacidades y limitaciones de los diferentes métodos y herramientas existentes.
- Introducir cambios en los métodos y los procesos del ámbito de conocimiento para dar respuestas innovadoras a las necesidades y demandas de la sociedad.
- Que los estudiantes tengan la capacidad de reunir e interpretar datos relevantes (normalmente dentro de su área de estudio) para emitir juicios que incluyan una reflexión sobre temas relevantes de índole social, científica o ética.
- Trabajar cooperativamente para la consecución de objetivos comunes, asumiendo la propia responsabilidad y respetando el rol de los diferentes miembros del equipo.
Resultados de aprendizaje
- Adaptar y reutilizar modelos existentes en dominios diferentes.
- Analizar y resolver problemas de forma efectiva, generando propuestas innovadoras y creativas para alcanzar los objetivos.
- Conocer diferentes paradigmas de aprendizaje automático, y decidir el método de aprendizaje más adecuado según las características de los datos a analizar.
- Identificar las implicaciones sociales, económicas y medioambientales de las actividades académico-profesionales del ámbito de conocimiento propio.
- Ponderar los riesgos y las oportunidades de las propuestas de mejora tanto propias como ajenas.
- Proponer nuevas maneras de medir el éxito o el fracaso de la implementación de propuestas o ideas innovadoras.
- Que los estudiantes tengan la capacidad de reunir e interpretar datos relevantes (normalmente dentro de su área de estudio) para emitir juicios que incluyan una reflexión sobre temas relevantes de índole social, científica o ética.
- Trabajar cooperativamente para la consecución de objetivos comunes, asumiendo la propia responsabilidad y respetando el rol de los diferentes miembros del equipo.
Contenido
- Introduction and Gymnasium
- Introduction to RL and Gymnasium library.
- Tabular solutions
- Markov Decision Process
- Dynamic Programming
- Monte Carlo
- TD learning
- Approximate solutions
- Deep Q-Networks
- Policy Gradients
- Actor-Critic
- Real-world problems
- Environment design and implementation
Actividades formativas y Metodología
| Título | Horas | ECTS | Resultados de aprendizaje |
|---|---|---|---|
| Tipo: Dirigidas | |||
| Ejercicios prácticos no evaluables | 21 | 0,84 | 1, 2, 3 |
| Teoría | 21 | 0,84 | 1, 6, 3 |
| Tipo: Autónomas | |||
| Actividades prácticas evaluables | 42 | 1,68 | 1, 6, 7, 3, 5 |
| Proyecto | 50 | 2 | 1, 2, 6, 7, 3, 8 |
Habrá tres tipos de actividades docentes:
- Sesiones de teoría
- Ejercicios prácticos evaluables
- Tests de teoría
- Proyecto
Sesiones teóricas: Presentación de los contenidos teóricos de la asignatura. Para cada uno de los temas estudiados se exponen los principales conceptos teóricos y formulación matemática, así como las correspondientes soluciones algorítmicas. Adicionalmente, se podrán proponer ejercicios prácticos no evaluables para reforzar la comprensión de los temas tratados en las clases teóricas. Durante estas sesiones se abordará la resolución de ejercicios prácticos (problemas) en entorno Python.
Ejercicios prácticos evaluables: Estos ejercicios prácticos se realizarán durante el cuatrimestre, donde los alumnos deberán resolver individualmente un conjunto de problemas que abarquen los contenidos de la materia.
Tests de teoría: La prueba teórica Moodle se realizará de forma individual durante el semestre.
Proyecto: El proyecto se realizará durante el semestre, donde los alumnos deberán resolver un problema específico de cierta complejidad. Los proyectos se resolverán en grupos de 2 alumnos. Estos grupos de trabajo deberán mantenerse durante el desarrollo de todo el proyecto y deberán autogestionarse en cuanto a distribución de roles, planificación del trabajo, asignación de tareas, gestión de los recursos disponibles, conflictos, etc. Cada grupo trabajará de forma autónoma para desarrollar el proyecto.
Las actividades anteriores se complementarán con un sistema de tutorías y consultas fuera del horario de clases.
Toda la información de la asignatura y los documentos relacionados que necesiten los alumnos estarán disponibles en el campus virtual (cv.uab.cat).
Nota: se reservarán 15 minutos de una clase dentro del calendario establecido por el centro o por la titulación para que el alumnado rellene las encuestas de evaluación de la actuación del profesorado y de evaluación de la asignatura o módulo.
Evaluación
Actividades de evaluación continuada
| Título | Peso | Horas | ECTS | Resultados de aprendizaje |
|---|---|---|---|---|
| Actividades prácticas | 20% | 4 | 0,16 | 1, 2, 7, 3 |
| Entregable del proyecto | 20% | 4 | 0,16 | 1, 2, 6, 7, 3, 8 |
| Exámenes individuales | 40% | 4 | 0,16 | 4, 3 |
| Presentación del proyecto | 10% | 2 | 0,08 | 2, 6, 3, 5, 8 |
| Test de teoria | 10% | 2 | 0,08 | 7, 3 |
Para evaluar el nivel de aprendizaje de los alumnos se establece una fórmula que combina la adquisición de conocimientos y la capacidad de resolución de problemas.
Nota final
La nota final se calcula mediante la siguiente fórmula:
Nota final = 0,4 * Teoría + 0,1 * Tests de teoría + 0,2 * Actividades Prácticas + 0,3 * Proyecto
Esta fórmula se aplicará siempre que la nota de teoría y el proyecto sean >=5.
Si la nota final calculada mediante la fórmula anterior es >= 5, pero no alcanza el mínimo exigido en alguna de las actividades de evaluación, la nota final será de 4,5.
1. Teoría
La nota de teoría tiene como objetivo evaluar las capacidades individuales del alumno en cuanto a los contenidos teóricos de la materia, esto se realiza de forma continua durante el curso a través de dos exámenes parciales:
Nota de Teoría = 0.5 * Nota Examen 1 + 0.5 * Nota Examen 2
El examen parcial (Examen 1) se realiza a la mitad del cuatrimestre, y sirve para eliminar parte de la materia si se aprueba. El examen final (Examen 2) se realiza al final del cuatrimestre y sirve para eliminar el resto de la materia si se aprueba.
Para obtener una nota final de teoría aprobatoria, se requerirá que las notas 1 y 2 del examen parcial sean ambas >=4.
En caso de que la nota de teoría no alcance el nivel adecuado para aprobar, los alumnos podrán realizar un examen de recuperación, destinado a recuperar la parte no aprobada (1, 2 o ambas) del proceso de evaluación continua.
2. Tests de teoría
El objetivode las pruebas teóricas es profundizar en los conceptos teóricos.
Pruebas teóricas = Igual ponderación de todas las pruebas del curso
3. Actividades prácticas
El objetivo de las actividades prácticas es familiarizarse con la aplicación práctica de los conceptos teóricos.
Actividades prácticas = Igual ponderación de todos los ejercicios prácticos del curso
4. Proyecto
El proyecto requiere que los estudiantes trabajen en grupos y diseñen una solución integral al desafío definido. Además, los estudiantes deben demostrar sus habilidades de trabajo en equipo y presentar los resultados a la clase.
Cada uno de los dos proyectos se evalúa a través de su entregable y una presentación oral a la clase. La participación de los estudiantes en todas las actividades (preparación del entregable y presentación) es necesaria para obtener la calificación de un proyecto.
La calificación del proyecto se calcula de la siguiente manera:
Proyecto = 0.7 * Entregables + 0.3 * Presentación
Si al realizar el cálculo anterior se obtiene una nota >= 5, pero el estudiante no participó en alguna de las actividades (entregables, presentación), entonces se otorgará una calificación final de 4.5 al proyecto.
No hay recuperación del proyecto: en caso de no presentar un entregable o una nota inferior a 5, el alumno no podrá aprobar la asignatura.
Notas importantes
Sin perjuicio de otras medidas disciplinarias que se estimen oportunas, y de acuerdo con la normativa académica vigente, la comisión de actividades irregulares por parte del estudiante (por ejemplo, plagiar, copiar, dejar copiar, …) implicará suspender la actividad correspondiente con un cero (0). Las actividades de evaluación calificadas de esta forma y por este procedimiento no serán recuperables.
En caso de que no se haga ninguna entrega de problemas, no se asista a ninguna sesión de presentación de los proyectos y no se haga ningún examen, la nota correspondiente será un "no evaluable". En otro caso, los "no presentados" computan como un 0 para el cálculo de la media ponderada.
Para obtener matrícula de honor, la calificación final debe ser igual o superior a 9 puntos. Debido a que el número de estudiantes con esta distinción no puede exceder el 5% del número total de estudiantes inscritos en el curso, se le otorga a quien tenga la calificación final más alta. En caso de empate, se tendrán en cuenta los resultados de los exámenes parciales.
Bibliografía
- Reinforcement Learning: An Introduction (Second edition). R. S. Sutton, A. G. Barto, MIT Press, Cambridge, MA, 2018.
- Deep Reinforcement Learning Hands-On. M. Lapan, Packt Publishing, 2018.
Software
Usaremos Python, las bibliotecas estándar de aprendizaje automático (como NumPy, MatPlotLib, SciKit Learn, Pandas, etc.) y la biblioteca Gymnasium para los ejercicios prácticos de aprendizaje por refuerzo.
Lista de idiomas
| Nombre | Grupo | Idioma | Semestre | Turno |
|---|---|---|---|---|
| (PAUL) Prácticas de aula | 1 | Inglés | primer cuatrimestre | tarde |
| (PLAB) Prácticas de laboratorio | 1 | Inglés | primer cuatrimestre | tarde |
| (TE) Teoría | 1 | Inglés | primer cuatrimestre | tarde |