Logo UAB
2022/2023

Mètodes Avançats de Processament i Gestió de Dades

Codi: 104377 Crèdits: 6
Titulació Tipus Curs Semestre
2503758 Enginyeria de Dades OT 4 1

Professor/a de contacte

Nom:
Daniel Franco Puntes
Correu electrònic:
daniel.franco@uab.cat

Utilització d'idiomes a l'assignatura

Llengua vehicular majoritària:
espanyol (spa)
Grup íntegre en anglès:
No
Grup íntegre en català:
No
Grup íntegre en espanyol:
No

Altres indicacions sobre les llengües

La documentació, enunciats de pràctiques i exàmens poden estar en català, castellà o angles

Equip docent

Antonio Espinosa Morales

Prerequisits

Aquesta assignatura no te PRE-REQUISITS. És recomana tenir cursades les Assignatures de Computació en Entorns al Núvol, Desenvolupament d'Aplicacions de Dades Massives, Xarxes Neuronals i Aprenentatge Profund i Visualització de Dades.

Objectius

L'objectiu d'aquesta assignatura és conèixer els mètodes i conceptes avançats de processament i gestió de dades massives, tant des del punt de vista de generació, adequació, transmissio i emmagatzematge com de processament i anàlisi per extraure informació útil. Així mateix, també és un objectiu fer servir les eines adients per dur a terme el treball amb dades massives, tant de forma interactiva i local com en batch i remota i en diferit i en temps real.

Competències

  • Concebre, dissenyar i implementar sistemes d'emmagatzematge de dades de forma eficient i segura.
  • Prevenir i solucionar problemes, adaptar-se a situacions imprevistes i prendre decisions.
  • Que els estudiants hagin desenvolupat aquelles habilitats d'aprenentatge necessàries per emprendre estudis posteriors amb un alt grau d'autonomia.
  • Que els estudiants tinguin la capacitat de reunir i interpretar dades rellevants (normalment dins de la seva àrea d'estudi) per emetre judicis que incloguin una reflexió sobre temes destacats d'índole social, científica o ètica.
  • Treballar cooperativament, en entorns complexos o incerts i amb recursos limitats, en un context multidisciplinari, assumint i respectant el rol dels diferents membres de l'equip.

Resultats d'aprenentatge

  1. Estudiar les adaptacions que es fan als algoritmes d'anàlisi i consulta de dades perquè preservin la privadesa de les dades d'entrada, dels models apresos o de les sortides dels models utilitzats en l'àmbit de la intel·ligència empresarial.
  2. Prevenir i solucionar problemes, adaptar-se a situacions imprevistes i prendre decisions.
  3. Que els estudiants hagin desenvolupat aquelles habilitats d'aprenentatge necessàries per emprendre estudis posteriors amb un alt grau d'autonomia.
  4. Que els estudiants tinguin la capacitat de reunir i interpretar dades rellevants (normalment dins de la seva àrea d'estudi) per emetre judicis que incloguin una reflexió sobre temes destacats d'índole social, científica o ètica.
  5. Treballar cooperativament, en entorns complexos o incerts i amb recursos limitats, en un context multidisciplinari, assumint i respectant el rol dels diferents membres de l'equip.

Continguts

1. Mètodes avançats de procesament i gestió massiva de dades

2. Arquitectures Cloud de referencia per gestió de dades massives i disseny d'aplicacions: batch, streaming, descentralizades.

3. Analisi de reptes i casos d'estudi amb dades massives i orientades al Cloud

4. Metodologia MVP per al disseny i desenvolupament de solucions Cloud per gestionar dades massives

5. Eines d'avaluació d'aplicacions i sistemes de gestió de dades massives

 

Metodologia

Seguint la metodologia de l’aprenentatge per reptes, l'assignatura es basa en un conjunt coordinat de treballs pràctics que condueixen a l'elaboració i presentació d'una proposta de solució tècnica del problema plantejat pels actors proposants del repte, aportant finalment algunes propostes de solució per a resoldre’ls.

 La tasca es durà a terme en grups reduïts d'estudiants, que poden agrupar-se de forma flexible en funció de la dinàmica de treball. L'activitat pràctica anirà acompanyada d'un conjunt de sessions teòriques i metodològiques de suport, així com de la tutoria de tot el procés d'aprenentatge. 

Les etapes de la metodologia d’aprenentatge per reptes són:

 1. Descoberta

La primera fase suposa un doble reconeixement:

a) d’una banda, de l'àmbit d'aplicació i la problemàtica d’estudi per a cadascun dels grups de treball, entrant en contacte amb els primers actors del tema;

b) de l’altra, de les eines necessàries per a desenvolupar adequadament la investigació posterior: l’elaboració de la diagnosi, i el procediment per a fer un Pla de Desenvolupament.

2. Investigació

La investigació ha de seguir el procés d’anàlisi de les tres parts d’un pla de desenvolupament: la comprensió de la demanda, de l’oferta, i de les necessitats. Aquesta etapa també te un doble vessant:

a) D’una banda s’exploren els documents de caràcter general del repte proposat.

b) De l’altra, es pren contacte amb els recursos i serveis necessaris, realitzant entrevistes als seus responsables i visitant instal·lacions, observant els usuaris i l’entorn.

 

3. Identificació de necessitats i propostes de millora

La tercera fase es caracteritza pel desenvolupament d'un prototipus per l’obtenció de resultats, identificant amb precisió les mancances en cada un dels sectors, i arribant a dissenyar propostes de millora en un nivell inicial per als repte analitzat per cada grup.

Aquestes activitats contaran amb el reforç de conferències i tallers orientats a la obtenció de resultats creatius.

 

4. Presentació de Resultats

La comunicació dels resultats és un pas imprescindible del procés. Es farà en tres formats:

  • Memòria de la proposta
  • Pòsters
  • Presentacions orals 

Nota: es reservaran 15 minuts d'una classe, dins del calendari establert pel centre/titulació, per a la complementació per part de l'alumnat de les enquestes d'avaluació de l'actuació del professorat i d'avaluació de l'assignatura/mòdul.

Activitats formatives

Títol Hores ECTS Resultats d'aprenentatge
Tipus: Dirigides      
Analisi, disseny i desenvolupament de prototipus 25 1 1, 2, 3, 4, 5
Classes expositives sobre tecnologia, metodologia i sobre el cas d'estudi 20 0,8 1, 4
Tipus: Autònomes      
Treball autònom 100 4 1, 2, 3, 4, 5

Avaluació

L'avaluació tindrà en compte:

 

a) Els resultats finals del procés d'elaboració de la Memòria de Disseny de la solució proposada (Memòria escrita, presentació oral i pòster), on s’avaluarà el procediment i l’assoliment en la resolució del repte plantejat.

b) El procés gradual d'aprenentatge, a partir de tres informes de seguiment (MVPs incrementals).

L'assignatura segueix un calendari d'aprenentatge i d’avaluació continuats que cal anar seguint puntualment. Cal respectar les dates de lliurament de les tasques. L'endarreriment en els lliuraments suposarà una penalització. 

La nota de l'assignatura serà la mitjana de les notes obtingudes en els diferents ítems avaluats. La no realització d'algun dels ítems implica que l'assignatura sigui "No avaluable". Per a poder fer mitjana caldrà haver obtingut almenys un 4 en cadascun dels ítems avaluables.

 

Recuperació: la recuperació té com a requisit que s'hagin presentat tots els ítems demanats a l'avaluació.

 

Seran ítems recuperables els exercicis de seguiment i el pòster. Es podran recuperar, respectivament, amb un altre examen, i amb la revisió del pòster suspès. Per la seva naturalesa, no es podran recuperar la Memòria escrita ni les presentacions orals.

 

En cas que l'estudiant realitzi qualsevol irregularitat que pugui conduir a una variació significativa de la qualificació d'un acte d'avaluació, es qualificarà amb 0 aquest acte d'avaluació, amb independència del procés disciplinari que s'hi pugui instruir. En cas que es produeixin diverses irregularitats en els actes d'avaluació d'una mateixa assignatura, la qualificació final d'aquesta assignatura serà 0.

Activitats d'avaluació

Títol Pes Hores ECTS Resultats d'aprenentatge
Informes MVP 50 2 0,08 1, 2, 3, 4, 5
Memòria final 30 2 0,08 1, 2, 3, 4, 5
Poster i presentació oral 20 1 0,04 1, 2, 3, 4, 5

Bibliografia

- Dan C. Marinescu. “Cloud Computing. Theory and Practice”. Morgan-Kaufmann. 2018.

-AWS Certified Cloud Practitioner Study Guide; Ben Piper, David Clinton; Sybex (14 de junio de 2019); ISBN-10: 1119490707, ISBN-13: 978-1119490708

-Infrastructure as Code; Kief Morris; O'Reilly Media; 1 edition (June 17, 2016); ISBN-10: 1491924357, ISBN-13: 978-1491924358

-Amazon Web Services in Action, 2E; Andreas Wittig, Michael Wittig; Manning Publications; Edición: 2nd edition (30 de septiembre de 2018); ISBN-10: 1617295116, ISBN-13: 978-1617295119

 -Microsoft Azure Essentials - Fundamentals of Azure, 2nd Ed; Michael Collier, Robin Shahan; 2016; https://download.microsoft.com/download/6/6/2/662DD05E-BAD7-46EF-9431-135F9BAE6332/9781509302963_Microsoft%20Azure%20Essentials%20Fundamentals%20of%20Azure%202nd%20ed%20pdf.pdf

-Mastering Cloud Computing : Foundations and Applications Programming. Buyya, Rajkumar;Vecchiola, Christian;y más  Elsevier Science & Technology  2013. ISBN: ISBN number:9780124114548, ISBN number:9780124095397

This is Service Design Thinking: Basics – Tools – Cases; Marc Stickdorn; BIS Publishers; ISBN 9063692560 (ISBN13: 978906369256) 2012

Design Research: Methods and Perspectives Brenda Laurel; The MIT Press;  2003; ISBN-10 ‏ : ‎ 0262122634; ISBN-13 ‏ : ‎ 978-0262122634

Gamestorming: A Playbook for Innovators, Rulebreakers, and Changemakers; Dave Gray, Sunni Brown, James Macanufo; O'Reilly Media; ISBN-10 ‏ : ‎ 0596804172 ISBN-13 ‏ : ‎ 978-0596804176; 2010

 The Lean Startup: How Today's Entrepreneurs Use Continuous Innovation to Create Radically Successful Businesses; Eric Ries ; Currency; ISBN-10 ‏ : ‎ 9780307887894, ISBN-13 ‏ : ‎ 978-0307887894;  2011

 

 

Programari

Visual Studio Code

Apache Spark

Redis

Power BI

Qlick

Azure Cloud

AWS Cloud

Google Cloud