Logo UAB
2021/2022

Métodos Avanzados de Procesamiento de Señal, Imagen y Video

Código: 104367 Créditos ECTS: 6
Titulación Tipo Curso Semestre
2503758 Ingeniería de Datos OT 4 0
La metodología docente y la evaluación propuestas en la guía pueden experimentar alguna modificación en función de las restricciones a la presencialidad que impongan las autoridades sanitarias.

Contacto

Nombre:
Francesc Xavier Roca Marva
Correo electrónico:
Xavier.Roca@uab.cat

Uso de idiomas

Lengua vehicular mayoritaria:
catalán (cat)
Algún grupo íntegramente en inglés:
No
Algún grupo íntegramente en catalán:
Algún grupo íntegramente en español:

Equipo docente

Francesc Xavier Roca Marva
Debora Gil Resina

Prerequisitos

(Ver la versión oficial en catalán)

Objetivos y contextualización

Aproximadamente cada década hay un tsunami tecnológico que transforma múltiples industrias . La Inteligencia Artificial (IA) es esta ola que arrasa en el mundo tecnológico actual. Si alguna vez te has preguntado:

  • ¿cómolos ordenadores realizan la detección de caras en multitudes?

  • como las aplicaciones de videollamadas desenfocan el fondo o reemplazan el fondo con otras imágenes?

  • como se desplazan los coches autónomos de forma segura en un entorno urbano?

  • como se sigue el balón con tanta precisión en eventos deportivos televisados como tenis, fútbol y baloncesto?

  • podemos saber el tratamiento de cáncer más efectivo a partir de datos multimodales del paciente?

  • podemos saber las emociones de una persona con un smart watch y un video?

  • como aprenden a hablar las máquinas?

Si hemos despertado su curiosidad, este curso es lo que necesitas. En este curso aprenderemos sobre temas en Visión por Ordenador como Seguimiento de Objetos, Procesamiento de Volúmenes, Medicina Personalizada, Detección de Caras, Flujo Óptico, estimación de Pose Humana y muchos más.

A diferencia de otros cursos de visión por ordenador, este curso se acerca a la visión por ordenador de manera más práctica, experiencial e intuitiva. Su principal componente es un conjunto de proyectos que debe ser desarrollados por los estudiantes repartidos en equipos. Todo lo que se necesita es un conocimiento práctico del lenguaje de programación Python. 

Utilizaremos OpenCV que es la biblioteca de visión por ordenador más grande y popular del mundo. Lo utilizan miles de empresas, productos y dispositivos y se prueba cada día para obtener escalabilidad y rendimiento. Además aprenderemos a diseñar y adaptar redes específicas ya escoger cuál es el método de procesado más adecuado según los requerimientos y restricciones de cada aplicación. 

En resumen, Métodos avanzados de procesamiento de señal, imagen y vídeo es una assignaturade carácter eminentemente práctico e interdisciplinar que se sitúa en el puente que hay entre la inteligencia artificial y el mundo real y que pretende recorrer este puente en ambas direcciones.

 

Conocimientos:

Describir y relacionar las fases en que se divide la solución a un problema de análisis de procesamiento de la señal.

Identificar las ventajas e inconvenientes de los algoritmos de visión por ordenador y de procesamiento de la señal.

Resolver problemas reales relacionados con técnicas de visión por ordenador.

Entender el resultado y las limitaciones de las técnicas de visión en diferentes casos de estudio.

Saber escoger el algoritmo de visión por ordenador más adecuado para solucionar una tarea dada.

Saber elegir las técnicas de visión por ordenador más adecuadas para solucionar problemas contextualizados.

 

Habilidades:

Reconocer las situaciones en las que laaplicación de algoritmos de procesamiento de la señal puede ser adecuado para solucionar un problema.

Analizar el problema a resolver y diseñar la solución óptima aplicando las técnicas aprendidas.

Redactar documentos técnicos relacionados con el análisis y la solución de unproblema.

Programar los algoritmos básicos para solucionar los problemas propuestos.

Evaluar los resultados de la solución implementada y valorar las posibles mejoras.

Defender y argumentar las decisiones tomadas en la solución de los problemas propuestos.

 

Competencias

Buscar, seleccionar y gestionar de manera responsable la información y el conocimiento.

Concebir, diseñar e implementar el sistema de adquisicióde datos más adecuado para alproblema concreto que hay que resolver.

Desarrollar un pensamiento y un razonamiento crítico y saber comunicarlos de manera efectiva, tanto en las lenguas propias como en inglés.

Que los estudiantes tengan la capacidad de reunir e interpretar datos relevantes (normalmente dentro de su área de estudio) para emitir juicios que incluyan una reflexión sobre temas relevantes.

Resultados de aprendizaje

Buscar, seleccionar y gestionar de manera responsable la información y el conocimiento.

Desarrollar un pensamiento y un razonamiento crítico y saber comunicarlos de manera efectiva, tanto en las lenguas propias como en inglés.

Diseñar un sistema de adquisición de imágenes y vídeos y aplicar los métodos básicos de la visión por ordenador a problemas específicos.

Escoger los métodos de representación del conocimiento más adecuados para la extracción de los objetos presentes en la escena, imagen o vídeo y su análisis posterior.

Extraer y analizar el movimiento de un vídeo (seguimiento de objetos, puntos característicos a lo largo de un vídeo, etc.)

 

Competencias

  • Concebir, diseñar e implementar sistemas inteligentes para el aprendizaje autónomo y sistemas con capacidad predictiva.
  • Demostrar sensibilidad hacia los temas éticos, sociales y medioambientales.
  • Generar propuestas innovadoras y competitivas en la actividad profesional y en la investigación.
  • Que los estudiantes hayan desarrollado aquellas habilidades de aprendizaje necesarias para emprender estudios posteriores con un alto grado de autonomía.
  • Que los estudiantes tengan la capacidad de reunir e interpretar datos relevantes (normalmente dentro de su área de estudio) para emitir juicios que incluyan una reflexión sobre temas relevantes de índole social, científica o ética.

Resultados de aprendizaje

  1. Demostrar sensibilidad hacia los temas éticos, sociales y medioambientales.
  2. Escoger e interpretar los modelos predictivos más adecuados para la gestión medioambiental en Smart Cities.
  3. Escoger y modificar los métodos de aprendizaje computacional más adecuados a los requerimientos del ámbito de ciencias de la salud.
  4. Generar propuestas innovadoras y competitivas en la actividad profesional y en la investigación.
  5. Que los estudiantes hayan desarrollado aquellas habilidades de aprendizaje necesarias para emprender estudios posteriores con un alto grado de autonomía.
  6. Que los estudiantes tengan la capacidad de reunir e interpretar datos relevantes (normalmente dentro de su área de estudio) para emitir juicios que incluyan una reflexión sobre temas relevantes de índole social, científica o ética.

Contenido

1 - Introducción a la Visión por Computador y la OpenCV

2 - Métodos basados en extracción y selección de características

3 - Métodos basados en Deep Learning 

4 - Cómo elegir el método más adecuado. Diseño y Validación Experimental. 

5 - Procesamiento y Análisis de Imágenes. Segmentación y Reconocimiento

6 - Procesamiento y Análisis de señales temporales. Vídeo (tracking), series temporales (señales biométricas)

7 - Procesamiento y Análisis de Volúmenes 3D. 

8 - Procesamiento y Análisis de Datos multimodal.

 

Metodología

La gestión de la docencia de la asignatura se hará a través del gestor documental Caronte(http://caronte.uab.cat/),que servirá como herramienta de gestión los equipos de trabajo, hacer las entregas correspondientes, ver las notas, comunicarse con los profesores, etc. Para poder utilizarlo es necesario hacer los siguientes pasos:

  1.  Darse de alta como usuario dando el nombre, NIU, y una foto carnet en formato JPG. Si ya se ha dado de alta por alguna otra asignatura, no es necesario volver a hacer, puede ir al siguiente paso.

  2.  Inscribirse en el tipo de docencia "MÉTODOS AVANZADOS DE PROCESAMIENTO DE SEÑAL, IMAGEN Y VÍDEO", dando como código de asignatura el proporcionado el primer día de clase.

 

El proyecto

El curso seguirá una metodología docente de aprendizaje llamada Aprendizaje Basado en Proyectos (ABP). La metodología ABP pretende potenciar y motivar al estudiante en su aprendizaje. Se formarán grupos de entre 5 y 6 estudiantes a los que se les encargará la realización de un conjunto de proyectos (de tamaño medio) a lo largo del semestre. Se hará un seguimiento semanal y tutorización tanto grupal como individual de los estudiantes

Los proyectos son fijados por el profesorado de forma que cumpla las siguientes condiciones: ser lo más real posible; ser tratable mediante herramientas elementales; no tener asociado un algoritmo de solución standard.

Por otra parte, es esencial entender que no se trata de encontrar un algoritmo que funcione en el 100 x 100 de los casos -a menudo no existe tal cosa- sinosimplemente de "dar una propuesta de solución razonable".

Los proyectos deben desarrollar cada equipo con la máxima autonomía posible. Cada equipo tendrá asignado un tutor que seguirá la evolución pero en principio se abstendrá de imponer sus ideas. Por otra parte, el estudiante debe tener claro que no se trata de buscar la 'solución' del problema en otros lugares, sino de hacer una aportación original. Esto no quiere decir que haya que renunciar a la información que pueda existir en la bibliografía o en Internet; pero cuando se haga uso hay que tener informado el profesor y explicarlo en la memoria.

La realización del proyecto debe terminar en un programa y una memoria final. Además de entregarla en forma escrita, los resultados de esta memoria serán objeto de una exposición oral. Una y otra, memoria escrita y exposición oral, deben ir dirigidas principalmente a la entidad, seguramente hipotética, que habría propuesto el problema. Por regla general, los tecnicismos serán relegados a apartados concretos de la memoria escrita.

En las presentaciones orales de los proyectos se espera que asistan toda la clases, y que estos intervengan mediante preguntas y observaciones.

 

Nota: se reservarán 15 minutos de una clase dentro del calendario establecido por el centro o por la titulación para que el alumnado rellene las encuestas de evaluación de la actuación del profesorado y de evaluación de la asignatura o módulo.

Actividades

Título Horas ECTS Resultados de aprendizaje
Tipo: Dirigidas      
Clases de teoría 10 0,4
Tipo: Supervisadas      
Seminarios de trabajo en equipo 20 0,8
Tipo: Autónomas      
Trabajo personal 115 4,6

Evaluación

Dado que la mayor parte del trabajo gira en torno a un conjunto de proyectos que se desarrolla a lo largo de todo el curso, la evaluación tiene un carácter continuado, y su resultado final no es recuperable.

 

Metodología de Evaluación

Se evaluarán las actas que el grupo escribirá después de cada sesión tutorizada, en la que describirán sus discusiones y acuerdos y las encuestas de autoevaluación que cada alumno hará de sus compañeros y de él mismo. Al final de cada proyecto los estudiantes se hará una presentación oral del proyecto y entregarán una memoria del trabajo realizado. Ambos serán evaluados por parte de los profesores de la asignatura sean o no los tutores. Los estudiantes no realizarán ningún examen escrito. 

Para la evaluación se utilizarán los siguientes INSTRUMENTOS y ACTIVIDADES:

  • Una evaluación hecha por los profesores a partir de la presentación de los proyectos realizado por el grupo (calidad del trabajo, presentación, memoria entregada). Nota Grupal (0 a 10) A partir de:

    • PORTAFOLIO DEL ALUMNO: Documento donde se explica el desarrollo del trabajo hecho: planteamiento del proyecto, actas de reuniones, información buscada, explicación de la aplicación implementada con un pequeño manual de usuario y pruebas y tests realizados.

    • PRESENTACIÓN: Presentación oral en 5-7 transparencias sobre el proyecto desarrollado y resultados obtenidos.

    • APLICACIÓN: programa desarrollado.

    • ACTOS Y CONTROLES: Presentación de la documentación entregada.

  • Una evaluación individual a partir de las observaciones hechas por los tutores en las sesiones tutorizadas, donde se tendrá en cuenta la actitud, iniciativa, participación, asistencia y puntualidad del alumno en las sesiones de grupo. Nota Individual (0 a 10).

  • Encuestas de co-evaluación y autoevaluación entre los miembros del grupo al final de cada proyecto. Nota Coevaluación Compañeros (0 a 10).

  • Las presentaciones orales se realizan ante los alumnos y los grupos valorarán el trabajo de sus compañeros a modo de ranking El grupo que quede en 1ª posición recibirá 10 puntos, el 2º 8 puntos y así sucesivamente.  Nota Coevaluación Clase (0 a 10).

 

Calificaciones

Cada proyecto tendrá una nota que se calculará de la siguiente manera: 

Nota Proyecto = 0,5 * Nota Grupal + 0,3 * Nota Individual + 0,1 * Nota Coevaluación Compañeros + 0,1 * Nota Coevaluación Clase

 

La nota final saldrá del la media ponderada de los proyectos realizados. La ponderación será la misma para todos los proyectos 

 

Para distinguir entre 'suspenso' y 'no presentado' se fija una fecha límite para que los estudiantes se puedan dar de baja de la evaluación, en el que caso aparecerán como 'no presentados'. Para darse de baja deberá comunicarlo al profesor, por escrito o mediante correo eletrónico, y obtener un acuse de recibo.

 

Actividades de evaluación

Título Peso Horas ECTS Resultados de aprendizaje
Nota Individual 30% 0 0 1, 2, 3, 4, 5
Nota Coevaluación Clase 10% 0 0 1
Nota Coevaluación compañeros 10% 0 0 1
Nota Grupal 50% 5 0,2 1, 2, 3, 4, 6

Bibliografía

Forsyth & Ponce, Computer Vision: A Modern Approach, Pearson, 2002, ISBN 0130851981

Computer vision, Linda G. Shapiro and George C. Stockman.

Introductory techniques for 3-D computer vision, Emanuele Trucco and Alessandro Verri.

Software

Python con librerías OpenCV, pytorch. Eventualmente Matlab y / o R. Se facilitará acceso a clusters de GPUs y CPUs