Local cover image
Local cover image

Estudio comparativo entre Apache Flink y Apache Spark : medición de la performance en la ejecución de algoritmos tradicionales de un Datawarehouse

By: Contributor(s): Material type: TextTextPublication details: 2021Description: 1 archivo (1,5 MB) : il. colSubject(s): Online resources:
Contents:
CAPÍTULO 1 -- Introducción -- Objetivos -- Metodología -- Contribución -- Marco Referencial -- 1. Big Data -- 1.1 Formato y Tipos de Archivos a utilizar en Big Data -- 1.1.1 Parquet -- 1.1.2 ORC -- 1.1.3 AVRO -- 2. Antecedentes de Investigación -- CAPÍTULO 2 -- Apache Flink -- 1. Introducción -- 2. Casos de Uso -- 3. Aplicaciones Basadas en Eventos -- 4. Aplicaciones de Análisis de Datos -- 5. Aplicaciones de Data Pipelines -- 6. Flink CEP-Procesamiento de Eventos Complejos para Flink -- 7. Tabla API y SQL -- 7.1 Flink SQL -- 8. Librerías -- 8.1 Flink ML -- 8.2 API de Gráficos-Gelly -- 9. API de Flink Data Stream -- 9.1 Transformaciones de Data Stream -- 9.2 API de Flink Data Set -- 9.2.1 Transformaciones de Data Set -- CAPÍTULO 3 -- Apache Spark -- 1. Introducción -- 2. Data Frame -- 2.1 Particiones -- 2.2 Transformaciones -- 3. Arquitectura y Componentes -- 4. Programación Funcional con Spark -- 5. Spark RDD -- 5.1 Evaluación Perezosa -- 5.2 Limitaciones de los RDDs -- 6. La Aplicación Spark -- 7. Agregaciones -- 7.1 Funciones de la Agregación -- 8. Persistencia en Memoria y Gestión de Memoria -- 9. La Anatomía de un Job de Spark -- 10. Gráfico Acíclico Dirigido -- CAPÍTULO 4 -- Resultados -- 1. Descripción del Problema de Datawarehouse -- 2. Planteo del Problema Utilizando Spark y Flink -- 3. Descripción de la Base de Datos -- 4. Experimentos Realizados -- 5. Hardware Utilizado -- 6. Herramientas de Monitoreo -- 7. Consultas SQL Implementadas -- 7.1Tabla View_precalculated -- 7.2 Agregación RU -- 7.3 Agregación RV -- 8. Experimentación -- 8.1 Resultados de la Ejecución en una Data Warehouse Convencional…. -- 66 -- 8.2 Experimentación con Spark y Flink -- 8.2.1 Valores Medidos por Ganglia y JConsole -- 8.3 Análisis de Datos Columnares -- CAPÍTULO 5 -- 1 Conclusiones -- Referencias Bibliográficas
Dissertation note: Trabajo Final Integrador (Especialización en Inteligencia de Datos Orientada a Big Data ) - Universidad Nacional de La Plata. Facultad de Informática, 2021.
Star ratings
    Average rating: 0.0 (0 votes)
Holdings
Item type Home library Collection Call number URL Status Date due Barcode
Tesis de posgrado Tesis de posgrado Biblioteca de la Facultad de Informática TES 21/37 (Browse shelf(Opens below)) Available DIF-05031
Tesis de posgrado Tesis de posgrado Biblioteca de la Facultad de Informática Biblioteca digital Link to resource Recurso en Línea
Tesis de posgrado Tesis de posgrado Biblioteca de la Facultad de Informática Biblioteca digital Link to resource Recurso en Línea

Trabajo Final Integrador (Especialización en Inteligencia de Datos Orientada a Big Data ) - Universidad Nacional de La Plata. Facultad de Informática, 2021.

CAPÍTULO 1 -- Introducción -- Objetivos -- Metodología -- Contribución -- Marco Referencial -- 1. Big Data -- 1.1 Formato y Tipos de Archivos a utilizar en Big Data -- 1.1.1 Parquet -- 1.1.2 ORC -- 1.1.3 AVRO -- 2. Antecedentes de Investigación -- CAPÍTULO 2 -- Apache Flink -- 1. Introducción -- 2. Casos de Uso -- 3. Aplicaciones Basadas en Eventos -- 4. Aplicaciones de Análisis de Datos -- 5. Aplicaciones de Data Pipelines -- 6. Flink CEP-Procesamiento de Eventos Complejos para Flink -- 7. Tabla API y SQL -- 7.1 Flink SQL -- 8. Librerías -- 8.1 Flink ML -- 8.2 API de Gráficos-Gelly -- 9. API de Flink Data Stream -- 9.1 Transformaciones de Data Stream -- 9.2 API de Flink Data Set -- 9.2.1 Transformaciones de Data Set -- CAPÍTULO 3 -- Apache Spark -- 1. Introducción -- 2. Data Frame -- 2.1 Particiones -- 2.2 Transformaciones -- 3. Arquitectura y Componentes -- 4. Programación Funcional con Spark -- 5. Spark RDD -- 5.1 Evaluación Perezosa -- 5.2 Limitaciones de los RDDs -- 6. La Aplicación Spark -- 7. Agregaciones -- 7.1 Funciones de la Agregación -- 8. Persistencia en Memoria y Gestión de Memoria -- 9. La Anatomía de un Job de Spark -- 10. Gráfico Acíclico Dirigido -- CAPÍTULO 4 -- Resultados -- 1. Descripción del Problema de Datawarehouse -- 2. Planteo del Problema Utilizando Spark y Flink -- 3. Descripción de la Base de Datos -- 4. Experimentos Realizados -- 5. Hardware Utilizado -- 6. Herramientas de Monitoreo -- 7. Consultas SQL Implementadas -- 7.1Tabla View_precalculated -- 7.2 Agregación RU -- 7.3 Agregación RV -- 8. Experimentación -- 8.1 Resultados de la Ejecución en una Data Warehouse Convencional…. -- 66 -- 8.2 Experimentación con Spark y Flink -- 8.2.1 Valores Medidos por Ganglia y JConsole -- 8.3 Análisis de Datos Columnares -- CAPÍTULO 5 -- 1 Conclusiones -- Referencias Bibliográficas

Click on an image to view it in the image viewer

Local cover image