Aceleración de la Computación en IA
Código: 106592 Créditos ECTS: 6| Titulación | Tipo | Curso |
|---|---|---|
| Inteligencia Artificial / Artificial Intelligence | OT | 3 |
| Inteligencia Artificial / Artificial Intelligence | OT | 4 |
Contacto
- Nombre:
- Vanessa Moreno Font
- Correo electrónico:
- vanessa.moreno@uab.cat
Equipo docente
- Jordi Carrabina Bordoll
- Juan Carazo Borrego
Idiomas de los grupos
Puede consultar esta información al final del documento.
Prerrequisitos
No hay. En parte de esta asignatura se describe el hardware de los aceleradores de IA que hay en los chips de servidores, móviles, empotrados, etc. Por lo tanto, hay que tener los conceptos básicos de arquitectura y tecnología de ordenadores.
Objetivos y contextualización
Esta asignatura tiene como objetivo analizar las metodologías y plataformas que permiten la aceleración de la computación de la IA.
Dicha aceleración está asociada a diferentes factores como son: (1) el tipo de operaciones que se ejecutan (multiplicaciones vector-matriz y matriz-matriz con acumulación, y funciones de transferencia complejas); (2) la gestión de los datos (tanto en cuanto a los requerimientos de memoria como de entrada salida); (3) los requerimientos de los sistemas donde debe ir incrustada la IA (condiciones de tiempo real, limitación de consumo de energía, etc.)
En cuanto al ámbito de esta aceleración, aunque se acelera tanto la fase de aprendizaje como la de inferencia y dado que el aprendizaje se realiza en servidores en la nube, nos centraremos mayoritariamente en plataformas con recursos limitados (respecto de los servidores) como plataformas móviles o empotradas (también llamadas periferia).
Se analizarán las diferentes plataformas computacionales de propósito general (CPU, GPU, FPGA) y específico (DPU/TPU/NPU, procesadores ML y NN, chips biónicos, neuromórficos, etc.) junto con las metodologías de despliegue.
Todo ello en el ámbito del internet de los objetos (IoT) compuesto por sistemas que incluyen los dispositivos (devices), la periferia (edge) y la nube (cloud).
Competencias
- Inteligencia Artificial / Artificial Intelligence
- Actuar en el ámbito de conocimiento propio valorando el impacto social, económico y medioambiental.
- Analizar y resolver problemas de forma efectiva, generando propuestas innovadoras y creativas para alcanzar los objetivos.
- Concebir, diseñar, analizar e implementar agentes y sistemas ciber-físicos autónomos capaces de interactuar con otros agentes y/o personas en entornos abiertos, teniendo en cuenta las demandas y necesidades colectivas.
- Conceptualizar y modelar alternativas de soluciones complejas a problemas de aplicación de la inteligencia artificial en diferentes ámbitos, y planificar y gestionar proyectos para el diseño y desarrollo de prototipos que demuestren la validez del sistema propuesto.
- Identificar, analizar y evaluar el impacto ético y social, el contexto humano y cultural, y las implicaciones legales del desarrollo de aplicaciones de inteligencia artificial y de manipulación de datos en diferentes ámbitos.
- Trabajar cooperativamente para la consecución de objetivos comunes, asumiendo la propia responsabilidad y respetando el rol de los diferentes miembros del equipo.
Resultados de aprendizaje
- Adaptar algoritmos de IA para implementar la inferencia en plataformas empotradas con recursos limitados y condiciones de tiempo real y eficiencia energética.
- Analizar los indicadores de sostenibilidad de las actividades académico-profesionales del ámbito integrando las dimensiones social, económica y medioambiental.
- Analizar y resolver problemas de forma efectiva, generando propuestas innovadoras y creativas para alcanzar los objetivos.
- Diseñar, crear prototipos y evaluar prestaciones en sistemas embebidos con recursos limitados y condiciones de tiempo real y eficiencia energética.
- Diseñar y validar la metodología de implementación de aprendizaje e inferencia en procesadores de propósito general y específico.
- Identificar el impacto ético y social y las implicaciones legales y regulatorias de los sistemas AI para el envío de datos para entrenamiento a la nube.
- Identificar las mejores soluciones para mapear una solución IA en un sistema IoT distribuido e device, Edge y cloud.
- Medir y optimizar las prestaciones de las implementaciones de algoritmos IA en plataformas.
- Proponer proyectos y acciones viables que potencien los beneficios sociales, económicos y medioambientales.
- Trabajar cooperativamente para la consecución de objetivos comunes, asumiendo la propia responsabilidad y respetando el rol de los diferentes miembros del equipo.
- Utilizar las tecnologías y servicios de aceleración de aprendizaje de redes IA en la nube y en la periferia.
Contenido
CONTENIDO
1. Introducción a plataformas IoT para IA
- Nube, periferia (móvil, incrustado), dispositivo (con restricciones de recursos)
- Entrenamiento vs. inferencia: balance de carga
2. Optimización IA
- Metodologías de desarrollo para reducir la complejidad computacional
- IA vs. rendimiento computacional (requisitos de la aplicación): precisión, tiempo real, memoria, energía
- Tiny ML
3. Técnicas y tecnologías de aceleración
- Plataformas de propósito general: CPU, GPU, FPGA
- Plataformas específicas de la aplicación para el procesamiento de ML y NN: DPU/TPU/NPU
- Chips avanzados: neuromórficos, basados en memristor, biónicos y cuánticos
LABORATORIOS
Despliegue de aplicaciones a (1) dispositivos móviles (de estudiantes) y (2) plataformas empotradas
PROYECTO DE DISEÑO
Planificación y prototipado de una aplicación IA específica en la periferia (seleccionada por los estudiantes)
Actividades formativas y Metodología
| Título | Horas | ECTS | Resultados de aprendizaje |
|---|---|---|---|
| Tipo: Dirigidas | |||
| Clases magistrales y seminarios | 26 | 1,04 | 1, 2, 4, 5, 7, 6, 8, 11 |
| Tipo: Supervisadas | |||
| Laboratorios y Proyecto de Diseño | 24 | 0,96 | 1, 2, 3, 4, 5, 7, 6, 8, 9, 10, 11 |
| Tipo: Autónomas | |||
| Estudio y trabajo fuera del aula | 98 | 3,92 | 1, 2, 3, 4, 5, 7, 6, 8, 9, 11 |
La metodología de aprendizaje combinará clases magistrales, actividades en sesiones tutorizadas, aprendizaje basado en proyectos y sesiones de laboratorio.
La asistencia es obligatoria para las actividades: proyecto de diseño IoT-IA y prácticas de laboratorio, que se realizarán en grupos de 2 o 3 personas.
Las sesiones de laboratorio utilizaran un formato guiado.
Este curso se utilizará el campus virtual de la UAB a https://cv.uab.cat.
Nota: se reservarán 15 minutos de una clase dentro del calendario establecido por el centro o por la titulación para que el alumnado rellene las encuestas de evaluación de la actuación del profesorado y de evaluación de la asignatura o módulo.
Evaluación
Actividades de evaluación continuada
| Título | Peso | Horas | ECTS | Resultados de aprendizaje |
|---|---|---|---|---|
| Actividades individuales (tipo ejercicios) | 40% | 0 | 0 | 1, 3, 4, 5, 7, 8, 11 |
| Evaluación de actividades desarrolladas en sesiones tutorizadas (laboratorios) | 20% | 0 | 0 | 1, 3, 4, 5, 7, 8, 10, 11 |
| Informe y presentación del proyecto de diseño | 40% | 2 | 0,08 | 1, 2, 3, 4, 5, 7, 6, 8, 9, 10, 11 |
Esta asignatura no prevé el sistema de evaluación única (no hay examen).
La evaluación de los alumnos utilizará el modelo de evaluación continua y la nota final del curso se calculará de la siguiente manera:
A - 40% de la nota obtenida por la evaluación de las actividades propuestas (tipo ejercicios). Cuando se programe una actividad de evaluación, se indicará qué indicadores se utilizarán para evaluar y su peso en la calificación.
B - 40% de la nota obtenida por la evaluación del trabajo de diseño de un sistema IoT-AI (original).
C - 20% de la nota obtenida por el estudiante de los trabajos de laboratorio. Es necesaria una calificación superior a 5 (sobre 10) en este ítem para aprobar la asignatura.
Todas las actividades requerirán la entrega de informe a través del campus virtual:
- A lo largo del curso se propondrán actividades de tipo A para los diferentes temas.
- Las actividades de tipo B, requerirán la entrega de informes parciales del proyecto cada 2 semanas.
- Las actividades de tipo C, requerirán la entrega de un informe para cada sesión de laboratorio.
Para obtener MH será necesario que los alumnos tengan una cualificación global superior 9 con las limitaciones de la UAB (1 MH/20 alumnes). Como criterio de referencia, se asignan por orden descendente.
Una nota final ponderada no inferior al 50% es suficiente para superar el curso, siempre que se alcance una puntuación superior a un tercio del rango en los 2 primeros ítems (A y B). Si es inferior se asignará una nota de 4.0.
No se tolerará el plagio. Todos los estudiantes implicados en una actividad de plagio serán suspendidos automáticamente. Se asignará una nota final no superior al 30%.
Se puede utilizar SW de código abierto o librerías disponibles, pero deben referenciarse en los informes correspondientes.
Un estudiante que no haya conseguido una nota media ponderada suficiente puede optar por solicitar actividades de recuperación (trabajos individuales o prueba de síntesis adicional) de la asignatura en las siguientes condiciones:
- el estudiante debe haber participado en las actividades de laboratorio y el proyecto de diseño,
- el estudiante debe tener un promedio ponderado final superior al 30%, y
- el estudiante no debe haber fallado en ninguna actividad por culpa del plagio.
El estudiante recibirá una nota de "No Evaluable" en caso de que:
- el estudiante no haya podido ser evaluado en las actividades de laboratorio por no haber asistido o no haber entregado los correspondientes informes sin causa justificada.
- el estudiante no haya realizado un mínimo del 50% de las actividades propuestas.
- el estudiante no haya realizado el trabajo de diseño.
Para cada actividad de evaluación, se dará al estudiante o al grupo, los comentarioscorrespondientes. El alumnado podrá hacer reclamaciones sobre la nota de la actividad, que seránevaluadas por el profesorado responsable de la asignatura.
Los estudiantes repetidores podrán "guardar" su calificación en las actividades de laboratorio.
Bibliografía
Russell, S. J., & Norvig, P. (2022). Artificial intelligence: a modern approach (Global edition). Pearson Education Limited.
Du, L., Du, Y. (2018). Hardware Accelerator Design for Machine Learning. In Machine Learning - Advanced Techniques and Emerging Applications. IntechOpen. https://doi.org/10.5772/intechopen.72845
Huawei Technologies Co., L. (2022). Artificial Intelligence Technology (1st ed. 2023.). Springer Nature. https://doi.org/10.1007/978-981-19-2879-6
X. Ma et al., "A Survey on Deep Learning Empowered IoT Applications," in IEEE Access, vol. 7, pp. 181721-181732, 2019, doi: 10.1109/ACCESS.2019.2958962
V. H. Kim and K. K. Choi, "A Reconfigurable CNN-Based Accelerator Design for Fast and Energy-Efficient Object Detection System on Mobile FPGA," in IEEE Access, vol. 11, pp. 59438-59445, 2023, doi: 10.1109/ACCESS.2023.3285279
C. -B. Wu, C. -S. Wang and Y. -K. Hsiao, "Reconfigurable Hardware Architecture Design and Implementation for AI Deep Learning Accelerator," 2020 IEEE 9th Global Conference on Consumer Electronics (GCCE), Kobe, Japan, 2020, pp. 154-155, doi: 10.1109/GCCE50665.2020.9291854
Robert David et al. TENSORFLOW LITE MICRO: EMBEDDED MACHINE LEARNING ON TINYML SYSTEMS. Proceedings of the 4th MLSys Conference, San Jose, CA, USA.
Pete Warden, Daniel Situnayake. TinyML: Machine Learning with TensorFlow Lite on Arduino and Ultra-Low-Power Microcontrollers. https://tinymlbook.com/
Mishra, A., Cha, J., Park, H., & Kim, S. (2023). Artificial Intelligence and Hardware Accelerators (1st ed.). Springer International Publishing AG. https://doi.org/10.1007/978-3-031-22170-5
Liu, A. C.-C., & Law, O. M. K. (2021). Artificial intelligence hardware design: challenges and solutions. John Wiley & Sons, Incorporated.
Daniel Situnayake, Jenny Plunkett. (2023). AI at the Edge. O'Reilly Media, Inc
Software
Se utilizarán las siguientes herramientas/flujos de diseño:
- Tensor RT para NVIDIA GPUs
- OpenVino para Intel
- Edge Impulse multiplataforma
- Entorno TinyML: Tensorflow Lite (adecuando el flujo de diseño a la plataforma)
Grupos e idiomas de la asignatura
La información proporcionada es provisional hasta el 30 de noviembre de 2025. A partir de esta fecha, podrá consultar el idioma de cada grupo a través de este enlace. Para acceder a la información, será necesario introducir el CÓDIGO de la asignatura
| Nombre | Grupo | Idioma | Semestre | Turno |
|---|---|---|---|---|
| (PAUL) Prácticas de aula | 711 | Inglés | primer cuatrimestre | manaña-mixto |
| (TE) Teoría | 71 | Inglés | primer cuatrimestre | manaña-mixto |