Procesamiento de big data en Hadoop usando el repartition join
El objetivo principal de este trabajo es el procesamiento de grandes volúmenes de información, conocidos como big data. Presentamos la implementación del algoritmo repartition join para realizar la operación join en un conjunto grande de datos. El algoritmo fue programado bajo el modelo de programa...
| Main Authors: | , , , , |
|---|---|
| Format: | Article |
| Language: | English |
| Published: |
Universidad Autónoma del Estado de Morelos
2015-06-01
|
| Series: | Programación Matemática y Software |
| Subjects: | |
| Online Access: | https://progmat.uaem.mx/progmat/index.php/progmat/article/view/243 |
| _version_ | 1797837428576223232 |
|---|---|
| author | Néstor Iván Escalante Fol Alberto Portilla Flores Genoveva Vargas-Solar Carolina Rocío Sánchez Pérez Marva Angélica Mora Lumbreras |
| author_facet | Néstor Iván Escalante Fol Alberto Portilla Flores Genoveva Vargas-Solar Carolina Rocío Sánchez Pérez Marva Angélica Mora Lumbreras |
| author_sort | Néstor Iván Escalante Fol |
| collection | DOAJ |
| description |
El objetivo principal de este trabajo es el procesamiento de grandes volúmenes de información, conocidos como big data. Presentamos la implementación del algoritmo repartition join para realizar la operación join en un conjunto grande de datos. El algoritmo fue programado bajo el modelo de programación Map Reduce. Implementar un join en el contexto de big data resulta ser complejo y costoso; por ello, apoyados en la plataforma Hadoop, herramienta que ofrece las utilidades necesarias para el manejo de grandes volúmenes de información, analizamos el comportamiento del algoritmo para evaluar su rendimiento. El algoritmo planteado se evaluó en un clúster conformado por tres nodos. Los resultados de ejecución se analizaron para su posterior uso en aplicaciones con datos reales.
|
| first_indexed | 2024-04-09T15:25:35Z |
| format | Article |
| id | doaj.art-31805d97808148fe913512677a305051 |
| institution | Directory Open Access Journal |
| issn | 2007-3283 |
| language | English |
| last_indexed | 2024-04-09T15:25:35Z |
| publishDate | 2015-06-01 |
| publisher | Universidad Autónoma del Estado de Morelos |
| record_format | Article |
| series | Programación Matemática y Software |
| spelling | doaj.art-31805d97808148fe913512677a3050512023-04-28T18:02:37ZengUniversidad Autónoma del Estado de MorelosProgramación Matemática y Software2007-32832015-06-0172Procesamiento de big data en Hadoop usando el repartition join Néstor Iván Escalante Fol0Alberto Portilla Flores1Genoveva Vargas-Solar2Carolina Rocío Sánchez Pérez3 Marva Angélica Mora Lumbreras4Facultad de Ciencias Básicas, Ingeniería y Tecnología, Universidad Autónoma de Tlaxcala. Calzada Apizaquito s/n, Apizaco. CP 90300. Tlaxcala, MéxicoFacultad de Ciencias Básicas, Ingeniería y Tecnología, Universidad Autónoma de Tlaxcala. Calzada Apizaquito s/n, Apizaco. CP 90300. Tlaxcala, MéxicoFrench Council of Scientific Research, LIG-LAFMIA. 681 rue de la Passerelle BP 72, 38402. Saint Martin d’Heres, Francia Facultad de Ciencias Básicas, Ingeniería y Tecnología, Universidad Autónoma de Tlaxcala. Calzada Apizaquito s/n, Apizaco. CP 90300. Tlaxcala, MéxicoFacultad de Ciencias Básicas, Ingeniería y Tecnología, Universidad Autónoma de Tlaxcala. Calzada Apizaquito s/n, Apizaco. CP 90300. Tlaxcala, México El objetivo principal de este trabajo es el procesamiento de grandes volúmenes de información, conocidos como big data. Presentamos la implementación del algoritmo repartition join para realizar la operación join en un conjunto grande de datos. El algoritmo fue programado bajo el modelo de programación Map Reduce. Implementar un join en el contexto de big data resulta ser complejo y costoso; por ello, apoyados en la plataforma Hadoop, herramienta que ofrece las utilidades necesarias para el manejo de grandes volúmenes de información, analizamos el comportamiento del algoritmo para evaluar su rendimiento. El algoritmo planteado se evaluó en un clúster conformado por tres nodos. Los resultados de ejecución se analizaron para su posterior uso en aplicaciones con datos reales. https://progmat.uaem.mx/progmat/index.php/progmat/article/view/243big dataMap ReduceHadoopjoin |
| spellingShingle | Néstor Iván Escalante Fol Alberto Portilla Flores Genoveva Vargas-Solar Carolina Rocío Sánchez Pérez Marva Angélica Mora Lumbreras Procesamiento de big data en Hadoop usando el repartition join Programación Matemática y Software big data Map Reduce Hadoop join |
| title | Procesamiento de big data en Hadoop usando el repartition join |
| title_full | Procesamiento de big data en Hadoop usando el repartition join |
| title_fullStr | Procesamiento de big data en Hadoop usando el repartition join |
| title_full_unstemmed | Procesamiento de big data en Hadoop usando el repartition join |
| title_short | Procesamiento de big data en Hadoop usando el repartition join |
| title_sort | procesamiento de big data en hadoop usando el repartition join |
| topic | big data Map Reduce Hadoop join |
| url | https://progmat.uaem.mx/progmat/index.php/progmat/article/view/243 |
| work_keys_str_mv | AT nestorivanescalantefol procesamientodebigdataenhadoopusandoelrepartitionjoin AT albertoportillaflores procesamientodebigdataenhadoopusandoelrepartitionjoin AT genovevavargassolar procesamientodebigdataenhadoopusandoelrepartitionjoin AT carolinarociosanchezperez procesamientodebigdataenhadoopusandoelrepartitionjoin AT marvaangelicamoralumbreras procesamientodebigdataenhadoopusandoelrepartitionjoin |