Logo UAB
2021/2022

Redes Neuronales y Aprendizaje Profundo

Código: 104362 Créditos ECTS: 6
Titulación Tipo Curso Semestre
2503758 Ingeniería de Datos OB 3 2
La metodología docente y la evaluación propuestas en la guía pueden experimentar alguna modificación en función de las restricciones a la presencialidad que impongan las autoridades sanitarias.

Contacto

Nombre:
Ramón Baldrich Caselles
Correo electrónico:
Ramon.Baldrich@uab.cat

Uso de idiomas

Lengua vehicular mayoritaria:
catalán (cat)
Algún grupo íntegramente en inglés:
No
Algún grupo íntegramente en catalán:
Algún grupo íntegramente en español:
No

Prerequisitos

Es fundamental haber adquirido una buena base matemática así como tener un buen nivel de programación, prinicpalment en Python. Es fundamental haber cursado la asignatura de Aprendizaje Computacional de primer semestre. Algunos de los conceptos desarrollados en esta asignatura son la base del contenido y desarrollo de las Redes Neuronales

Objetivos y contextualización

Objetivos y contextualización

Esta asignatura pretende dar una introducción práctica a los modelos de redes neuronales y el aprendizaje profundo.
Los estudiantes consolidarán y ampliarán su formación teórica, tomando como base el conocimiento adquirido en las materias anteriores relacionadas con el aprendizaje automático., Completando su perfil en este ámbito. El objetivo de la asignatura es acabar teniendo un conocimiento amplio de los conceptos, técnicas y estructuras típicas de redes neurales, así como ser capaces de entender y aplicar la metodología particular de estas técnicas a casos prácticos reales, y finalmente desarrollar la capacidad de escoger los mecanismos y estructuras más adecuadas para cada caso particular de aplicación.

Competencias

Hacer un uso eficaz de los recursos bibliográficos y recursos electrónicos para obtener información.
Resolver problemas relacionados con el análisis de grandes volúmenes de datos mediante el diseño de inteligentes sistemas y aprendizaje computacional.
Los estudiantes deben ser capaces de aplicar sus conocimientos a su trabajo o vocación de forma profesional y deberán poder establecer argumentos y habilidades de resolución de problemas.
Los estudiantes deben ser capaces de comunicar información, ideas, problemas y soluciones, tanto para públicos especializados como no especializados.
Utilizando criterios de calidad, valorar críticamente el propio trabajo realizado.
Trabajar de forma cooperativa en un contexto multidisciplinar asumiendo y respetando el papel de los diferentes miembros del equipo.

Competencias

  • Analizar los datos de forma eficiente para el desarrollo de sistemas inteligentes con capacidad de aprendizaje autónomo y/o para la minería de datos.
  • Que los estudiantes tengan la capacidad de reunir e interpretar datos relevantes (normalmente dentro de su área de estudio) para emitir juicios que incluyan una reflexión sobre temas relevantes de índole social, científica o ética.
  • Trabajar cooperativamente, en entornos complejos o inciertos y con recursos limitados, en un contexto multidisciplinar, asumiendo y respetando el rol de los diferentes miembros del equipo.

Resultados de aprendizaje

  1. Diseñar e implementar una estrategia integrada de técnicas estadísticas y de inteligencia artificial para el desarrollo de sistemas descriptivos y predictivos.
  2. Que los estudiantes tengan la capacidad de reunir e interpretar datos relevantes (normalmente dentro de su área de estudio) para emitir juicios que incluyan una reflexión sobre temas relevantes de índole social, científica o ética.
  3. Trabajar cooperativamente, en entornos complejos o inciertos y con recursos limitados, en un contexto multidisciplinar, asumiendo y respetando el rol de los diferentes miembros del equipo.

Contenido

1 Introducción y bases de las Redes neurales

-regresión logística

-perceptrón

-función de activación

-Descenso del gradiente

-MLP

-backpropagation



2 Aspectos prácticos de las Redes Neuronales

- overfitting

- Regularización

- vagos

- Normalización de entrada

- Vanishing / Exploding gradientes

- Inicialización de pesos

- Comprobación del gradiente



3 Redes convolucionales

- Visión por Computador

- Qué es la convolución

- Padding, stride Convolution

- Algebra los filtros

- pooling layers

- regresion softmax

- primeros redes: AlexNet, VGG



4 Casos de estudio en CNN: Clasificación

- inception

- redes residuales

- Networ in network: convolución de 1x1



5 Aspectos prácticos de las Redes Neuronales II

- Ajuste de hiperparametres

- Normalización de activaciones, batch norm

- Fecha Augmentation

- Transfer Learning



6 CNN: detección de objetos

- detección de objetos vs clasificación

- predicción de cajas

- métrica: intersección over union

- No max supresión

- Cajas ancla

- Redes Base: Yolo, FasterRCNN



7 Redes sequenciales: Recurrente Neural Networks

- Modelo de redes neurales recurrentes

-backpropagation en el tiempo

- Tipo de RNN

- Modelo de lenguaje y generación de secuencias

- GRU & LSTM

- Word2vec
 

 

Metodología

Toda la información de la asignatura y los documentos relacionados que los estudiantes necesiten se encontrarán en la página Campus Virtual (http://cv.uab.cat/), el menú de la asignatura Conocimiento, razonamiento e incertidumbre.

Las diferentes actividades que se llevarán a cabo en la asignatura se organizan de la siguiente manera:

 Clases de teoría

Se expondrán los principales conceptos y algoritmos de cada tema de teoría. Estos temas suponen el punto de partida en el trabajo de la asignatura.

Seminarios de problemas

Serán clases con grupos reducidos de estudiantes, que faciliten la interacción, o de carácter individual, según los casos. En estas clases se plantearán casos prácticos que requieran el diseño de una solución en la que se utilicen los métodos vistos en las clases de teoría. Es imposible seguir las clases de problemas si no se siguen los contenidos de las clases de teoría. El resultado de estas sesiones es la resolución de los problemas que se deberán entregar obligatoriamente de forma semanal. El mecanismo específico para la entrega, así como el mecanismo d'avaluación, se indicará en la página web de la asignatura (espacio Caronte).

Prácticas de laboratorio

Los grupos de trabajo estarán formados por grupos de 3-4 alumnos y deberán formar la segunda semana del curso. Estos grupos de trabajo se deberán mantener hasta el final del curso y deberán auto-gestionar: reparto de roles, planificación del trabajo, asignación de tareas, gestión de los recursos disponibles, conflictos, etc. Aunque el profesor guiará el proceso de aprendizaje, su intervención en la gestión de los grupos será mínima.

Al inicio del curso, sepresentarán los problemas a resolver y los alumnos definirán su propio proyecto. A lo largo del semestre, los alumnos trabajarán en grupos cooperativos y deberán analizar el problema escogido, diseñar e implementar soluciones basadas en diferentes algoritmos de aprendizaje computacional vistos en clase, analizar los resultados obtenidos en cada uno de los métodos y defender su proyecto en público.

Para desarrollar el proyecto, los grupos trabajarán de forma autónoma y las sesiones de prácticas se dedicarán principalmente a resolver dudas con el profesor que hará el seguimiento del estado del proyecto, indicará errores a corregir, propondrá mejoras, etc.

Algunas de las sesiones se marcarán como sesiones de control en las que se deberá entregar alguna parte del proyecto. En estas sesiones los grupos deberán explicar el trabajo hecho y el profesor hará cuestiones a todos los miembros del grupo para valorar el trabajo realizado. La asistencia a estas sesiones es obligatoria.

En la última sesión de cada uno de los proyectos de prácticas, los grupos harán una presentación del proyecto donde explicarán el proyecto desarrollado, la solución adoptada y los resultados obtenidos. En esta presentación cada miembro del grupo deberá hacer una parte de la presentación.

Nota: se reservarán 15 minutos de una clase dentro del calendario establecido por el centro o por la titulación para que el alumnado rellene las encuestas de evaluación de la actuación del profesorado y de evaluación de la asignatura o módulo.

Actividades

Título Horas ECTS Resultados de aprendizaje
Tipo: Dirigidas      
Contenido teorico 22 0,88 1, 2
Tipo: Supervisadas      
Clases practicas 16 0,64 1, 3
seminarios 10 0,4 1, 2
Tipo: Autónomas      
Preparación y realización de proyectos prácticos 52 2,08 1, 2, 3
estudio 28 1,12 1, 2

Evaluación

Activitats i instruments d’avaluació:

Per avaluar l'assoliment dels coneixements i competències associats a l'assignatura s'estableix un mecanisme d'avaluació que combina l'assimilació dels coneixements, la capacitat de resolució de problemes, i de forma significativa, la capacitat de generar solucions computacionals a problemes complexos, tant grupal com individualment.

Amb aquest objectiu es divideix l'avaluació en tres parts:

Avaluació de continguts

La nota final de continguts es calcularà a partir de varis exàmens parcials:

Nota Continguts = 1/N * Prova_i

El número de proves pot variar i com a mínim seran 2. Per a poder tenir una nota de continguts caldrà que les notes dels cada un dels proves sigui superior a 4.

Les proves parcials es faran durant el curs i eminenment seran de contingut conceptual on respondre a diferents preguntes sobre el contingut desenvolupat a les sessions ‘teoriques’.

Aquestes proves pretenen ser una avaluació individualitzada de l'estudiant amb les seves capacitats d'entendre les tècnique sexplicades a classe així com avaluar el nivell de conceptualització que l'estudiant n'ha fet de les tècniques vistes.

Tests de recuperació. En cas que la nota de continguts no arribi al nivell adequat en alguna de les proves, per obtenir una nota final suficient per considerar l'assoliment dels coneixements, els estudiants es poden presentar a l'examen de la convocatòria de l'assignatura i tornar a fer un examen que avaluï els continguts vists a l'assignatura de la/les part/s no superada/es. En cas de presentar-se per pujar nota, prevaleix la notamés alta.

No hi ha convalidacions en cas que s'hagués superat la part teòrica en anys anteriors.

Avaluació del treball en els seminaris de problemes

Els problemes tenen com objectiu provocar que l'estudiant entri en els continguts de l'assignatura de manera continuada i a partir de petits problemes que facin que es familiaritzi directament en l'aplicació de la teoria. Com a evidència d'aquest treball es demana la presentació d'un portfoli en el que haurà anat guardant els problemes que haurà anat realitzant. Aquest portfoli tindrà entrega setmanal digital. L'alumne podrà autoavaluar-se continuament ja que disposarà de les solcuions de cada un dels conjunts de problemes un cop finalitzat el període d'entrega. Juntament amb les hores de tutoria per si apareixen dubtes, és suficient per a que cada alumne identifiqui els seus punts febles.

Avaluació de la defensa de les solucions a problemes

Com a mínim dos cops durant el curs, cada alumne haruà de defensar, be oralment o de forma escrita les solucions que ha aportat com a solució en els seminaris de problemes. Aquesta avaluació serà individual i podrà centrar-se en un subconjut de problemes.

Eventualment es pot plantejar problemes de més calat de forma no dirigida als que s'haurà de presentar una solució computacional.

La nota final de l’assignatura s’obté combinant l’avaluació d’aquestes 3 activitats de la manera següent:

Nota Final = (0.3 * Continguts) + (0.5 * defensa de solucions computacionals) + (0.2 * Portfoli)

Condicions per a superar l'assignatura:

  • La nota final de continguts ha de ser més gran o igual que 4 per poder aprovar l’assignatura.
  • La nota del portfoli i de la defensa desolucions (per separat) ha de ser més gran o igual que 6 per poder aprovar l’assignatura.

En cas que la nota, aplicant la fórmula de l'apartat anterior ("nota final de l'assignatura"), fos superior a 5 però no s'hagués superat el mínim exigit en alguna de les parts, la nota final en l'expedient serà un 4,5.

S'assignaran tantes matrícules d'honor com la normativa vigent permeti sempre i quan la nota sigui superior a 9.0. L'assignació de les matrícules es farà seguint l'ordre de notes. En cas d'haver-hi múltiples candidats amb la mateixa avaluació susceptibles de rebre Md'H es proposaran activitats suplementàries per a determinar el/s millor/s candidat/s.

L'alumne es qualificarà com "No Avaluable" si no té cap part avaluada ni dels continguts teòrics ni dels continguts pràctics.

Avisos importants:

  • Les dates d'avaluació continuada i lliurament de treballs, així com tot el material docent es publicaran al campus virtual (http://cv.uab.cat/), a l'espai d'aquesta assignatura ipoden estar subjectes a canvis de programació per motius d'adaptació a possibles incidències. Sempre s'informarà a cerbero.uab.cat sobre aquests canvis ja que s’entén que  Caronte esdevindrà el mecanisme habitual d'intercanvi d'informació entre professor i estudiants.

Actividades e instrumentos de evaluación:

Para evaluar el logro de los conocimientos y competencias asociados a la asignatura se establece un mecanismo de evaluación que combina la asimilación de los conocimientos, la capacidad de resolución de problemas, y de forma significativa, la capacidad de generar soluciones computacionales a problemas complejos, tanto grupal como individualmente.

Con este objetivo se divide la evaluación en trespartes:

- Evaluación de contenidos

La nota final de contenidos se calculará a partir de varios exámenes parciales:

Nota Contenidos = 1 / N * Prova_i

El número de pruebas puede variar y como mínimo serán 2. Para poder tener una nota de contenidos será necesario que las notas de los cada uno de los pruebas sea superior a 4.

Las pruebas parciales se harán durante el curso y eminentemente serán de contenido conceptual donde responder a diferentes preguntas sobre el contenido desarrollado en las sesiones 'teóricas'.

Estas pruebas pretenden ser una evaluación individualizada del estudiante con sus capacidades de entender las tecnicas explicadas en clase así como evaluar el nivel de conceptualización que el estudiante ha hecho de las técnicas vistas.

Tests de recuperación. En caso de que la nota de contenidos no llegue al nivel adecuado en alguna de las pruebas, para obtener una nota final suficiente para considerar el logro de los conocimientos, los estudiantes se pueden presentar al examen de la convocatoria de la asignatura y volver a hacer un examen que evalúe los contenidos vistos en la asignatura de la / parte / s no superada / as. En caso de presentarse para subir nota, prevalece la notamos alta.

No hay convalidaciones en caso de que se hubiera superado la parte teórica en años anteriores.

- Evaluación del trabajo en los seminarios de problemas

Los problemas tienen como objetivo provocar que el estudiante entre en los contenidos de la asignatura de manera continuada y a partir de pequeños problemas que hagan que se familiarice directamente en la aplicación de la teoría. Como evidencia de este trabajo se pide la presentación de un portafolio en el que habrá ido guardando los problemas que habrá ido realizando. Este portfolio tendrá entrega semanal digital. El alumno podrá autoevaluarse continuamente ya que dispondrá de las soluciones de cada uno de los conjuntos de problemas una vez finalizado el período de entrega. Junto con las horas de tutoría por si aparecen dudas, es suficiente para que cada alumno identifique sus puntos débiles.

- Evaluación de la defensa de las soluciones a problemas

Al menos dos veces durante el curso, cada alumno tendrá que de defender, bien oralmente o de forma escrita las soluciones que ha aportado como solución en los seminarios de problemas. Esta evaluación será individual y podrá centrarse en un subconjuto de problemas.

Eventualmente se puede plantear problemas de más calado de forma no dirigida a los que se deberá presentar una solución computacional.

La nota final de la asignatura se obtiene combinando la evaluación de estas 3 actividades de la siguiente manera:

Nota Final = (0.3 * Contenidos) + (0.5 * defensa de soluciones computacionales) + (0.2 * Portfolio)

Condiciones para superar la asignatura:

  • La nota final de contenidos debe ser mayor o igual que 4 para poder aprobar la asignatura.
  • La nota del portfolio y de la defensa de soluciones (por separado) debe ser mayor o igual que 6 para poder aprobar la asignatura.

En caso de que la nota, aplicando la fórmula del apartado anterior ( "nota final de la asignatura"), fuera superior a 5 pero no se hubiera superado el mínimo exigido en alguna de las partes, la nota final en el expediente será un 4,5.

Se asignarán tantas matrículas de honor como la normativa vigente permita siempre y cuando la nota sea superior a 9,0. La asignación de las matrículas se hará siguiendo el orden de notas.

El alumno se calificará como "No Evaluable" si no tiene ninguna parte evaluada ni de los contenidos teóricos ni de los contenidos prácticos.

Avisos importantes:

  • Las fechas de evaluación continua y entrega de trabajos, así como todo el material docente se publicarán en el campus virtual (http://cv.uab.cat/), en el espacio de esta asignatura iPod estar sujetos a cambios de programación por motivos de adaptación a posibles incidencias. Siempre se informará a cerbero.uab.cat sobre estos cambios ya que se entiende que Caronte convertirá el mecanismo habitual de intercambio de información entre profesor y estudiantes.
  • Para cada actividad de evaluación, se indicará un lugar, fecha y hora de revisión en la que el estudiante podrá revisar la actividad con el profesor. En este contexto, se podrán hacer reclamaciones sobre la nota de la actividad, que serán evaluadas por el profesorado responsable de la asignatura. Si el estudiante no se presenta en esta revisión, no se revisará posteriormente a esta actividad.
  • Sin perjuicio de otras medidas disciplinarias que se estimen oportunas, y de acuerdo con la normativa académica vigente, las irregularidades cometidas por un estudiante que puedan conducir a una variación de la calificación en una actividad evaluable se calificarán con un cero (0) . Las actividades de evaluación calificadas de esta forma y por este procedimiento no serán recuperables. Si es necesario superar cualquiera de estas actividades de evaluación para aprobar la asignatura, esta asignatura quedará suspendida directamente, sin oportunidad de recuperarla en el mismo curso. Estas irregularidades incluyen, entre otros:

    - la copia total o parcial de una práctica, informe, o cualquier otra actividad de evaluación;
    - dejar copiar;
    - presentar un trabajo de grupo no hecho íntegramente por los miembros del grupo (aplicado a todos los miembros, no sólo los que no han trabajado);
    - presentar como propios materiales elaborados por un tercero, aunque sean traducciones o adaptaciones, y en general trabajos con elementos no originales y exclusivos del estudiante;
    - tener dispositivos digitales y / o de comunicación (como teléfonos móviles, smart watches, bolígrafos con cámara, etc.) accesibles durante las pruebas de evaluación teórico-prácticas individuales (exámenes).
    - hablar con compañeros durante las pruebas de evaluación teórico-prácticas individuales (exámenes).
    - observar / mirar las pruebas de evaluación teórico-prácticas (exámenes) de otros compañeros durante la realización de la misma, aunque no se haya procedido a la copia.
    - observar / mirar en la tabla, hojas, pared etc escritos relacionados con la materia durante la realización de las pruebas de evaluación teórico-prácticas (exámenes) aunque no se haya procedido a la copia.
    La nota numérica del expediente será el valor menor entre 3.0 y la media ponderada de las notas en caso de que el estudiante haya cometido irregularidades en un acto de evaluación (y por tanto no será posible el aprobado por compensación). En resumen: copiar, dejar copiar o plagiar (o el intento de) en cualquiera de las actividades de evaluación equivale a un SUSPENSO con nota inferior a 3,5.

Actividades de evaluación

Título Peso Horas ECTS Resultados de aprendizaje
Defensa de las soluciones a problemas (codigo + presentación + seguimiento) 50% 10 0,4 1, 2, 3
Portfolio problemas 20 5 0,2 1, 2
Pruebas de concepto 30% 7 0,28 1, 2

Bibliografía

Bibliografia

Web links

Bibliografia bàsica

  •  Deep learning with Python, François Chollet, Manning Publications, 1st Ed., 2017
  • Pattern Recognition and Machine Learning, Christopher Bishop, Springer, 2011
  • Neural Networks for Pattern Recognition, Christopher Bishop, Oxford University Press, 1st ed., 1996

Software

No se usará ningún programmari especial aparte de los habituales en estos estudios.