Local cover image
Local cover image

Estudio comparativo entre Apache Flink y Apache Spark : medición de la performance en la ejecución de algoritmos tradicionales de un Datawarehouse

By: Contributor(s): Material type: TextTextPublication details: 2021Description: 1 archivo (1,5 MB) : il. colSubject(s): Online resources:
Contents:
CAPÍTULO 1 -- Introducción -- Objetivos -- Metodología -- Contribución -- Marco Referencial -- 1. Big Data -- 1.1 Formato y Tipos de Archivos a utilizar en Big Data -- 1.1.1 Parquet -- 1.1.2 ORC -- 1.1.3 AVRO -- 2. Antecedentes de Investigación -- CAPÍTULO 2 -- Apache Flink -- 1. Introducción -- 2. Casos de Uso -- 3. Aplicaciones Basadas en Eventos -- 4. Aplicaciones de Análisis de Datos -- 5. Aplicaciones de Data Pipelines -- 6. Flink CEP-Procesamiento de Eventos Complejos para Flink -- 7. Tabla API y SQL -- 7.1 Flink SQL -- 8. Librerías -- 8.1 Flink ML -- 8.2 API de Gráficos-Gelly -- 9. API de Flink Data Stream -- 9.1 Transformaciones de Data Stream -- 9.2 API de Flink Data Set -- 9.2.1 Transformaciones de Data Set -- CAPÍTULO 3 -- Apache Spark -- 1. Introducción -- 2. Data Frame -- 2.1 Particiones -- 2.2 Transformaciones -- 3. Arquitectura y Componentes -- 4. Programación Funcional con Spark -- 5. Spark RDD -- 5.1 Evaluación Perezosa -- 5.2 Limitaciones de los RDDs -- 6. La Aplicación Spark -- 7. Agregaciones -- 7.1 Funciones de la Agregación -- 8. Persistencia en Memoria y Gestión de Memoria -- 9. La Anatomía de un Job de Spark -- 10. Gráfico Acíclico Dirigido -- CAPÍTULO 4 -- Resultados -- 1. Descripción del Problema de Datawarehouse -- 2. Planteo del Problema Utilizando Spark y Flink -- 3. Descripción de la Base de Datos -- 4. Experimentos Realizados -- 5. Hardware Utilizado -- 6. Herramientas de Monitoreo -- 7. Consultas SQL Implementadas -- 7.1Tabla View_precalculated -- 7.2 Agregación RU -- 7.3 Agregación RV -- 8. Experimentación -- 8.1 Resultados de la Ejecución en una Data Warehouse Convencional…. -- 66 -- 8.2 Experimentación con Spark y Flink -- 8.2.1 Valores Medidos por Ganglia y JConsole -- 8.3 Análisis de Datos Columnares -- CAPÍTULO 5 -- 1 Conclusiones -- Referencias Bibliográficas
Dissertation note: Trabajo Final Integrador (Especialización en Inteligencia de Datos Orientada a Big Data ) - Universidad Nacional de La Plata. Facultad de Informática, 2021.
Star ratings
    Average rating: 0.0 (0 votes)

Trabajo Final Integrador (Especialización en Inteligencia de Datos Orientada a Big Data ) - Universidad Nacional de La Plata. Facultad de Informática, 2021.

CAPÍTULO 1 -- Introducción -- Objetivos -- Metodología -- Contribución -- Marco Referencial -- 1. Big Data -- 1.1 Formato y Tipos de Archivos a utilizar en Big Data -- 1.1.1 Parquet -- 1.1.2 ORC -- 1.1.3 AVRO -- 2. Antecedentes de Investigación -- CAPÍTULO 2 -- Apache Flink -- 1. Introducción -- 2. Casos de Uso -- 3. Aplicaciones Basadas en Eventos -- 4. Aplicaciones de Análisis de Datos -- 5. Aplicaciones de Data Pipelines -- 6. Flink CEP-Procesamiento de Eventos Complejos para Flink -- 7. Tabla API y SQL -- 7.1 Flink SQL -- 8. Librerías -- 8.1 Flink ML -- 8.2 API de Gráficos-Gelly -- 9. API de Flink Data Stream -- 9.1 Transformaciones de Data Stream -- 9.2 API de Flink Data Set -- 9.2.1 Transformaciones de Data Set -- CAPÍTULO 3 -- Apache Spark -- 1. Introducción -- 2. Data Frame -- 2.1 Particiones -- 2.2 Transformaciones -- 3. Arquitectura y Componentes -- 4. Programación Funcional con Spark -- 5. Spark RDD -- 5.1 Evaluación Perezosa -- 5.2 Limitaciones de los RDDs -- 6. La Aplicación Spark -- 7. Agregaciones -- 7.1 Funciones de la Agregación -- 8. Persistencia en Memoria y Gestión de Memoria -- 9. La Anatomía de un Job de Spark -- 10. Gráfico Acíclico Dirigido -- CAPÍTULO 4 -- Resultados -- 1. Descripción del Problema de Datawarehouse -- 2. Planteo del Problema Utilizando Spark y Flink -- 3. Descripción de la Base de Datos -- 4. Experimentos Realizados -- 5. Hardware Utilizado -- 6. Herramientas de Monitoreo -- 7. Consultas SQL Implementadas -- 7.1Tabla View_precalculated -- 7.2 Agregación RU -- 7.3 Agregación RV -- 8. Experimentación -- 8.1 Resultados de la Ejecución en una Data Warehouse Convencional…. -- 66 -- 8.2 Experimentación con Spark y Flink -- 8.2.1 Valores Medidos por Ganglia y JConsole -- 8.3 Análisis de Datos Columnares -- CAPÍTULO 5 -- 1 Conclusiones -- Referencias Bibliográficas

Click on an image to view it in the image viewer

Local cover image