Análisis de Vídeo
Código: 43082 Créditos ECTS: 6| Titulación | Tipo | Curso | Semestre |
|---|---|---|---|
| 4314099 Visión por Computador / Computer Vision | OB | 0 | 2 |
Contacto
- Nombre:
- Maria Vanrell Martorell
- Correo electrónico:
- maria.vanrell@uab.cat
Uso de idiomas
- Lengua vehicular mayoritaria:
- inglés (eng)
Equipo docente externo a la UAB
- Federico Sukno
- Gloria Haro
- Javier Ruiz
- Montse Pardàs
- Ramon Morros
Prerequisitos
- Un grado en Ingeniería, Matemáticas, Física o similar.
-
Competencias en programación en Python.
Objetivos y contextualización
Coordinador del módulo: Dr. Javier Ruiz
El objetivo de este módulo es presentar los principales conceptos y tecnologías que son necesarios para el análisis de video. En primer lugar, se presentan las aplicaciones de análisis de secuencias de imágenes y los diferentes tipos de datos donde se aplicarán estas técnicas. Además se proporciona una descripción general de las técnicas de procesamiento de señales y las arquitecturas generales de aprendizaje profundo en las que se basa el análisis de video. Se darán ejemplos para secuencias de video monocámara, multicámara y cámaras de profundidad. Se estudiarán tanto las bases teóricas como los algoritmos más utilizados. Para cada materia, se presentarán técnicas clásicas junto con las técnicas de aprendizaje profundo del estado del arte que conducen a diferentes enfoques. Los temas principales serán la segmentación de video, la sustracción y modelado del fondo, la estimación de movimiento, los algoritmos de seguimiento y el análisis basado en modelos. También se estudiarán técnicas de nivel superior, como el reconocimiento de gestos o acciones, la generación profunda de de videos y el aprendizaje profundo multimodal. Los estudiantes trabajarán en un proyecto sobre monitoreo de tráfico aplicado a ADAS (sistemas avanzados de asistencia al conductor) donde aplicarán los conceptos aprendidos en el curso. El proyecto se centrará en la detección y segmentación de objetos de video, la estimación del flujo óptico y el seguimiento de vehículos con múltiples objetivos / cámaras.
Competencias
- Asumir tareas de responsabilidad en la gestión de la información y el conocimiento.
- Comprender, analizar y sintetizar los conocimientos avanzados que existen en el área, así como proponer ideas innovadoras.
- Conceptualizar alternativas de soluciones complejas a problemas de visión y crear prototipos que demuestren la validez del sistema propuesto.
- Identificar los conceptos y aplicar las técnicas fundamentales más adecuadas para la solución de los problemas básicos de la visión por computador.
- Planificar, desarrollar, evaluar y gestionar soluciones a proyectos en los diferentes ámbitos de la visión por computador.
- Poseer y comprender conocimientos que aporten una base u oportunidad de ser originales en el desarrollo y/o aplicación de ideas, a menudo en un contexto de investigación.
- Que los estudiantes posean las habilidades de aprendizaje que les permitan continuar estudiando de un modo que habrá de ser en gran medida autodirigido o autónomo.
- Que los estudiantes sepan aplicar los conocimientos adquiridos y su capacidad de resolución de problemas en entornos nuevos o poco conocidos dentro de contextos más amplios (o multidisciplinares) relacionados con su área de estudio.
- Seleccionar las herramientas software y los conjuntos de entrenamiento más adecuados para desarrollar las soluciones a los problemas de visión por computador.
- Trabajar en equipos multidisciplinares.
Resultados de aprendizaje
- Asumir tareas de responsabilidad en la gestión de la información y el conocimiento.
- Comprender, analizar y sintetizar los conocimientos avanzados que existen en el área, así como proponer ideas innovadoras.
- Identificar las mejores representaciones que se puedan definir para la resolución de problemas de análisis de secuencias de imágenes.
- Identificar los problemas básicos que se deben resolver en el análisis de secuencias de imágenes, así como los algoritmos específicos.
- Planificar, desarrollar, evaluar y gestionar una solución a un problema concreto de análisis de secuencias de imágenes.
- Poseer y comprender conocimientos que aporten una base u oportunidad de ser originales en el desarrollo y/o aplicación de ideas, a menudo en un contexto de investigación.
- Que los estudiantes posean las habilidades de aprendizaje que les permitan continuar estudiando de un modo que habrá de ser en gran medida autodirigido o autónomo.
- Que los estudiantes sepan aplicar los conocimientos adquiridos y su capacidad de resolución de problemas en entornos nuevos o poco conocidos dentro de contextos más amplios (o multidisciplinares) relacionados con su área de estudio.
- Seleccionar las técnicas aprendidas y entrenarlas para solucionar un proyecto concreto de análisis de secuencias de imágenes.
- Trabajar en equipos multidisciplinares.
Contenido
- Introducción al análisis de vídeos
- Enfoques de procesamiento de señal y aplicaciones
- Arquitecturas de aprendizaje profundo para vídeo
- Segmentación de vídeo
- Segmentación de escenas
- Modelado de fondo
- Segmentación espacial y temporal de regiones
- Segmentación semántica.
- Estimación del movimiento
- Técnicas clásicas y de aprendizaje profundo.
- Seguimiento
- Bayesiano: introducción a los filtros de Kalman, filtros de partículas
- Seguimiento múltiple y de contornos
- Seguimiento basado en modelos.
- Seguimiento y segmentación de objetos con aprendizaje profundo.
- Aplicaciones:
- Generación de vídeos con aprendizaje profundo
- Reconocimiento: Actividad, Actitud y Gestos.
- Aprendizaje de vídeos. Aprendizaje profundo entre modalidades.
Metodología
Sesiones supervisadas: (Algunas de estas sesiones podrían ser en línea síncronas)
- Sesiones de teoría, donde los profesores explican contenidos generales sobre los diferentes temas. Algunos de ellos se usarán para resolver los problemas.
Sesiones dirigidas:
- Sesiones de proyecto, donde los problemas y los objectivos de los proyectos serán presentados y discutidos, los estudiantes interactuarán con el coordinador del proyecto sobre problemas y ideas para resolver el proyecto (aprox. 1 hora/semana).
- Sesión de presentación, donde los estudiantes hacen una presentación oral sobre cómo han resuelto el proyecto y una demostración de los resultados.
- Sesión de examen, donde los estudiantes son evaluados de forma individual sobre el conocimiento obtenido y las habilidades para resolver problemas.
Trabajo autónomo:
- El estudiante estudiará de forma autónoma y trabajará los materiales derivados de las sesiones teóricas.
- El estudiante trabajará en grupos para resolver los problemas del proyecto con entregas de:
- Código
- Informes
- Presentación oral
Nota: se reservarán 15 minutos de una clase dentro del calendario establecido por el centro o por la titulación para que el alumnado rellene las encuestas de evaluación de la actuación del profesorado y de evaluación de la asignatura o módulo.
Actividades
| Título | Horas | ECTS | Resultados de aprendizaje |
|---|---|---|---|
| Tipo: Dirigidas | |||
| Sesiones teóricas | 20 | 0,8 | 4, 3, 6 |
| Tipo: Supervisadas | |||
| Sesiones de seguimiento de proyecto | 8 | 0,32 | 1, 2, 4, 3, 5, 8, 7, 9, 6, 10 |
| Tipo: Autónomas | |||
| Trabajo autónomo | 113 | 4,52 | 1, 2, 4, 3, 5, 8, 7, 9, 6, 10 |
Evaluación
La Nota final de este módulo se calcula con la seguiente fórmula:
Nota final = 0.4 x Examen + 0.55 x Proyecto+ 0.05 x Asistencia
donde,
Examen: es la nota obtenida en el examen final del módulo (debe ser >= 3).
Assistencia: es la nota derivada de la asistencia a las sesiones (mínimo 70%).
Proyecto: es la nota que pone el coordinador del proyecto de acuerdo con los resultados del seguimiento semanal del proyecto y de las entregas (debe ser >= 5).. Todo de acuerdo con criterios específicos, tales como:
- Participación en les sesiones de discusión y en el trabajo en equipo (evaluación entre-miembros).
- Entrega de las partes obligatorias y opcionales del proyecto.
- Desarrollo del código (estilo, comentarios, etc.)
- Informe (justificación de las decisiones tomadas en el desarrollo del proyecto)
- Presentación (Presentación y demostración del proyecto desarrollado)
Sólo los estudiantes que han suspendido (nota final < 5.0) podran hacer el examen de recuperación.
Actividades de evaluación
| Título | Peso | Horas | ECTS | Resultados de aprendizaje |
|---|---|---|---|---|
| Asistencia a sesiones | 0.05 | 0,5 | 0,02 | 1, 4, 3, 8, 6 |
| Examen | 0.4 | 2,5 | 0,1 | 1, 2, 8, 7, 9, 6, 10 |
| Proyecto | 0.55 | 6 | 0,24 | 1, 2, 4, 3, 5, 8, 7, 9, 6, 10 |
Bibliografía
Artículos:
- M. Piccardi. “Background subtraction techniques: a review”. Journal: IEEE Int. Conf. On Systems, Man and Cybernetics 2004 , v. 4, pp. 3099-3104, 2004.
- A. Sobral, A. Vacavant, “A comprehensive review of background subtraction algorithms evaluated with synthetic and real videos”, Journal: Computer Vision and Image Understanding Vol. 122, pp. 4-21 · May 2014.
- S. Baker, D. Scharstein, JP. Lewis, S. Roth, M. Black, R. Szeliski. “A database and evaluation methodology for optical flow”. Journal: International Journal of Computer Vision, Vol. 92:1, pp. 1-31, 2011.
- T. Cootes, G. Edwards, C. Taylor. “Active appearance models”. Journal: IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 6, pp. 681--685, 2001.
- R. Poppe. “Vision-based Human motion analysis: an overview”. Journal: Computer Vision and Image Understanding 108 (1-2): 4-18, 2007
Libros:
- “Sequential Monte Carlo methods in practice”, A. Doucet, N. de Freitas and N.Gordon (Eds.), Springer, 2001.
Software
Entorno de programación en Python con especial atención a las librerías de visión por computador y Pythorch