Técnicas de procesamento masivo de datos

Na era da dixitalización xeramos datos en todas as nosas accións diarias: interactuando nas redes sociais, navegando en páxinas webs, realizando transaccións comerciais ou simplemente levando o móbil no peto. Esta grande xeración de datos constitúe unha potencial reserva e significativa de información de valor. Naceu así o “big data”.

O termo “big data” é empregado frecuentemente para referirse ao uso masivo de datos para obter algún beneficio. Aínda que non existe unha definición estándar, o termo vai moito máis alá da explotación dunha gran cantidade de datos. O “big data” relacionase cun conxunto de datos cuxo volume, diversidade e complexidade require de novas técnicas, algoritmos e análise para poder extraer coñecemento oculto.

O obxectivo principal desta materia é capacitar ao alumnado na aplicación de técnicas de análise e procesamento de datos a gran escala. Ao longo do curso, estudaremos as infraestruturas hardware e software necesarias para unha explotación eficiente destes datos. Veremos como distribuír os datos e o procesamento de cara a obter sistemas escalables. Analizaremos os modelos de programación e tecnoloxías especialmente deseñadas para o manexo de grandes conxuntos de datos facendo especial fincapé na aprendizaxe automática. A materia proporcionará unha comprensión integral das plataformas e ferramentas utilizadas no procesamento de big data, abordando tanto os aspectos técnicos como os fundamentos teóricos necesarios para enfrontar os retos que presentan os conxuntos de datos masivos.

Tema 1. Introdución ao Big Data
Tema 2. Infraestruturas para o almacenamento e procesamento de Big Data: Hadoop
Tema 3. Procesamento de datos a gran escala: Apache Spark
Tema 4. Aprendizaxe automática con Apache Spark MLlib
Tema 5. Procesamento de datos en continuo

Ademais das diapositivas e outro tipo de material proporcionados polo profesor, o alumnado conta coa seguinte bibliografía básica e complementaria para o seguimento da materia.

Bibliografía básica
- A. Polak, Scaling Machine Learning with Spark, O'Reilly, 2023.
- A. Bifet, R. Gavaldà, G. Holmes, and B. Pfahringer. Machine learning for Data Streams with Practical Examples in MOA. MIT Press, 2018. Dispoñible de xeito gratuíto en https://moa.cms.waikato.ac.nz/book/.
- I. Triguero, M. Galar, Large-Scale Data Analytics with Python and Spark, Cambridge University Press, 2023.

Bibliografía complementaria
- T. White, Hadoop: The Definitive Guide, 4th Edition, O'Reilly, 2015.
- G. Maas and F. Garillot. Stream processing with Apache Spark, O'Reilly, 2019.
- J. Damji, B. Wenig, T. Das, and D. Lee. Learning Spark, 2nd Edition, O'Reilly, 2020.

O alumnado adquirirá en distintos niveis de afondamento, as seguintes competencias básicas, transversais e específicas:

Básicas e xerais
CG2 - Capacidade para resolver problemas con iniciativa, toma de decisións, autonomía e creatividade.
CG5 - Capacidade para concibir novos sistemas computacionais e/ou avaliar o rendemento de sistemas existentes, que integren modelos e técnicas de intelixencia artificial.

Transversais
TR3 - Capacidade para crear novos modelos e solucións de forma autónoma e creativa, adaptándose a novas situacións. Iniciativa e espírito emprendedor.

Específicas
CE5 - Comprender e aplicar os principios e técnicas básicas da programación paralela e distribuída para o desenvolvemento e execución eficiente das técnicas de intelixencia artificial.
CE6 - Capacidade para realizar a análise, deseño, implementación de aplicacións que requiran traballar con grandes volumes de datos e na nube de forma eficiente.

A materia ten un enfoque teórico-práctico mediante a combinación de clases expositivas e interactivas.

A docencia expositiva consistirá en leccións impartidas polo profesorado, dedicadas á exposición dos contidos teóricos e á resolución de problemas ou exercicios. O profesorado promoverá unha actitude activa, realizando preguntas que permitan aclarar aspectos concretos e deixando cuestións abertas para a reflexión do estudantado. Traballaranse as competencias CG5, CE5 e CE6.

A docencia interactiva consistirá en clases reducidas coa finalidade de adquirir habilidades prácticas e complementar os contidos impartidos nas clases teóricas fomentando a aprendizaxe de traballo en grupo. Estarán enfocadas ao traballo activo do alumnado en tarefas prácticas ou proxectos necesarios para superar a parte de avaliación continua da materia. Traballaranse as competencias CG2, TR3, CE5 e CE6.

As titorías programadas servirán para a resolución de dúbidas teórico e/ou prácticas así como para a orientación na realización das tarefas propostas.

OPORTUNIDADE ORDINARIA

A avaliación da materia dividirase en dúas partes, avaliación continua (50% da nota) e exame (50% da nota). Para superar a materia deberá obterse unha cualificación de 5 ou máis puntos sobre 10 en cada unha das partes.

Avaliación continua (50% da nota final)

Avaliaranse as solucións entregadas polo alumnado en relación ás tarefas ou proxectos desenvolvidos no marco da docencia interactiva. As actividades de avaliación continua poden incluír, entre outras, a realización de exercicios de maneira individual ou en grupos reducidos, presentación de informes de actividades realizadas ou avaliación mediante tests de seguimento. Nesta parte avaliaranse implícita ou explicitamente as competencias CG2, TR3, CE5 e CE6.

A avaliación de prácticas poderá levarse a cabo mediante corrección por parte do profesor, a defensa da solución achegada por parte do alumno ante o profesor ou a presentación oral da solución desenvolvida. Todos os traballos deberán ser entregados polo Campus Virtual antes das datas que se especificarán. As entregas fóra de prazo terán unha cualificación de 0 puntos. Valorarase o grao de cumprimento das especificacións, a metodoloxía, a rigorosidade e a presentación de resultados.

A asistencia ás sesións interactivas será obrigatoria cando estea planificada a realización dalgunha actividade cuxa avaliación se vaia a realizar durante o transcurso da sesión. Estas sesións serán programadas e notificadas coa antelación suficiente.

A avaliación continua é non recuperable e polo tanto non poderá substituírse pola realización dun traballo ou exame final de prácticas.

Para os casos de realización fraudulenta de exercicios ou probas será de aplicación o recollido na "Normativa de avaliación do rendemento académico dos estudantes e de revisión de cualificacións".

Exame (50% da nota final)

Realizarase un exame teórico e/ou de resolución de problemas, na data oficialmente designada para ese efecto, no que se avaliarán tódolos contidos da materia, fundamentalmente as competencias CG2, CG5, TR3 e CE5.

OPORTUNIDADE EXTRAORDINARIA DE RECUPERACIÓN

O alumnado poderá volver avaliarse dos contidos teóricos e/ou de resolución de problemas (exame). A avaliación continua non é recuperable, manterase a nota alcanzada na oportunidade ordinaria.

CONDICIÓN DE NON PRESENTADO

A cualificación será "non presentado" cando a persoa non realice o exame en ningunha das oportunidades e non entregue máis dunha actividade da avaliación continua.

ALUMNADO REPETIDOR

O alumnado repetidor será avaliado nas mesmas condicións que o de primeira convocatoria. A nota obtida na avaliación continua poderá ser conservada en convocatorias posteriores se o/a estudante así o solicita por correo electrónico ao profesor/a coordinador da materia.

ALUMNADO CON DISPENSA

O alumnado con dispensa será avaliado nas mesmas condicións que o resto de alumnado. Naquelas actividades da avaliación continua cuxa avaliación requira asistencia á aula, o/a estudante deberá acudir a esas sesións.

• Aulas maxistrais: 15 horas.
• Sesións prácticas e/ou laboratorio: 25 horas.
• Titorías: 1 hora.
• Traballo autónomo do alumnado (estudo, realización de exercicios, prácticas, proxectos): 71,5 horas.

Total: 112,5 horas

Son requisitos previos recomendados ter cursado previamente as materias de Computación Concorrente, Paralela e Distribuída, Redes e Bases de Datos, tal e como se establece na memoria da titulación.

Recoméndase tamén a asistencia ás clases de docencia expositiva e interactiva así como o estudo continuado da materia, realizando un esforzo activo na procura de materiais, realización de exercicios e resolución das prácticas ou proxectos propostos.

O material de traballo para esta materia inclúe a bibliografía indicada e as diapositivas elaboradoras polo profesorado. Usarase o Campus Virtual para todo tipo de comunicación, intercambio de ficheiros e sistema de entrega. As prácticas faranse empregando software libre como Hadoop e Apache Spark. Dependendo da dispoñibilidade do CESGA faremos uso do seu clúster de Big Data para algunha das prácticas.

A lingua vehicular desta materia será o galego. Porén, debido á novidade dos temas a tratar, a bibliografía atópase integramente en inglés.