Research on the analysis and statistic of geographical conditions based on the strategy of "Grid Index + MapReduce"(“格网索引+ MapReduce”策略下的地理国情统计分析研究)
地理国情统计分析是深度研究地理国情普查数据的首要前提.针对现有单机集中式数据存储与处理方式存在耗时长、效率低甚至不支持的问题，设计了“格网索引+MapReduce”策略，基于规则格网设计普查数据文件的分块组织与分布式存储方式，研制了格网索引与空间分析相结合的双层过滤机制，构建基于MapReduce的地理国情并行统计算法.最后，与无索引MapReduce、ArcGIS平台进行性能对比测试，结果表明：“格网索引+ MapReduce”方法的统计效率远高于ArcGIS平台，对无索引MapReduce方法亦有明显的效率优势，研究拟为地理国情普查数据的高性能、多类型、大批量统计分析提供优选方案....
| Main Authors: | , , , |
|---|---|
| Format: | Article |
| Language: | zho |
| Published: |
Zhejiang University Press
2017-11-01
|
| Series: | Zhejiang Daxue xuebao. Lixue ban |
| Subjects: | |
| Online Access: | https://doi.org/10.3785/j.issn.1008-9497.2017.06.004 |
| _version_ | 1797235808080494592 |
|---|---|
| author | LINYaping(林雅萍) DUZhenhong(杜震洪) ZHANGFeng(张丰) LIURenyi(刘仁义) |
| author_facet | LINYaping(林雅萍) DUZhenhong(杜震洪) ZHANGFeng(张丰) LIURenyi(刘仁义) |
| author_sort | LINYaping(林雅萍) |
| collection | DOAJ |
| description | 地理国情统计分析是深度研究地理国情普查数据的首要前提.针对现有单机集中式数据存储与处理方式存在耗时长、效率低甚至不支持的问题，设计了“格网索引+MapReduce”策略，基于规则格网设计普查数据文件的分块组织与分布式存储方式，研制了格网索引与空间分析相结合的双层过滤机制，构建基于MapReduce的地理国情并行统计算法.最后，与无索引MapReduce、ArcGIS平台进行性能对比测试，结果表明：“格网索引+ MapReduce”方法的统计效率远高于ArcGIS平台，对无索引MapReduce方法亦有明显的效率优势，研究拟为地理国情普查数据的高性能、多类型、大批量统计分析提供优选方案. |
| first_indexed | 2024-04-24T16:53:50Z |
| format | Article |
| id | doaj.art-68a1465fd2d44248bb918c13dd0cc43c |
| institution | Directory Open Access Journal |
| issn | 1008-9497 |
| language | zho |
| last_indexed | 2024-04-24T16:53:50Z |
| publishDate | 2017-11-01 |
| publisher | Zhejiang University Press |
| record_format | Article |
| series | Zhejiang Daxue xuebao. Lixue ban |
| spelling | doaj.art-68a1465fd2d44248bb918c13dd0cc43c2024-03-29T01:58:37ZzhoZhejiang University PressZhejiang Daxue xuebao. Lixue ban1008-94972017-11-0144666066510.3785/j.issn.1008-9497.2017.06.004Research on the analysis and statistic of geographical conditions based on the strategy of "Grid Index + MapReduce"(“格网索引+ MapReduce”策略下的地理国情统计分析研究)LINYaping(林雅萍)0https://orcid.org/0000-0002-9324-7293DUZhenhong(杜震洪)1ZHANGFeng(张丰)2https://orcid.org/0000-0003-1475-8480LIURenyi(刘仁义)3 1.Zhejiang Provincial Key Lab of GIS, Zhejiang University, Hangzhou 310028, China( 1.浙江大学浙江省资源与环境信息系统重点实验室，浙江 杭州 310028) 1.Zhejiang Provincial Key Lab of GIS, Zhejiang University, Hangzhou 310028, China( 1.浙江大学浙江省资源与环境信息系统重点实验室，浙江 杭州 310028) 1.Zhejiang Provincial Key Lab of GIS, Zhejiang University, Hangzhou 310028, China( 1.浙江大学浙江省资源与环境信息系统重点实验室，浙江 杭州 310028) 1.Zhejiang Provincial Key Lab of GIS, Zhejiang University, Hangzhou 310028, China( 1.浙江大学浙江省资源与环境信息系统重点实验室，浙江 杭州 310028)地理国情统计分析是深度研究地理国情普查数据的首要前提.针对现有单机集中式数据存储与处理方式存在耗时长、效率低甚至不支持的问题，设计了“格网索引+MapReduce”策略，基于规则格网设计普查数据文件的分块组织与分布式存储方式，研制了格网索引与空间分析相结合的双层过滤机制，构建基于MapReduce的地理国情并行统计算法.最后，与无索引MapReduce、ArcGIS平台进行性能对比测试，结果表明：“格网索引+ MapReduce”方法的统计效率远高于ArcGIS平台，对无索引MapReduce方法亦有明显的效率优势，研究拟为地理国情普查数据的高性能、多类型、大批量统计分析提供优选方案.https://doi.org/10.3785/j.issn.1008-9497.2017.06.004地理国情统计分析地理国情普查数据格网索引mapreduce |
| spellingShingle | LINYaping(林雅萍) DUZhenhong(杜震洪) ZHANGFeng(张丰) LIURenyi(刘仁义) Research on the analysis and statistic of geographical conditions based on the strategy of "Grid Index + MapReduce"(“格网索引+ MapReduce”策略下的地理国情统计分析研究) Zhejiang Daxue xuebao. Lixue ban 地理国情统计分析 地理国情普查数据 格网索引 mapreduce |
| title | Research on the analysis and statistic of geographical conditions based on the strategy of "Grid Index + MapReduce"(“格网索引+ MapReduce”策略下的地理国情统计分析研究) |
| title_full | Research on the analysis and statistic of geographical conditions based on the strategy of "Grid Index + MapReduce"(“格网索引+ MapReduce”策略下的地理国情统计分析研究) |
| title_fullStr | Research on the analysis and statistic of geographical conditions based on the strategy of "Grid Index + MapReduce"(“格网索引+ MapReduce”策略下的地理国情统计分析研究) |
| title_full_unstemmed | Research on the analysis and statistic of geographical conditions based on the strategy of "Grid Index + MapReduce"(“格网索引+ MapReduce”策略下的地理国情统计分析研究) |
| title_short | Research on the analysis and statistic of geographical conditions based on the strategy of "Grid Index + MapReduce"(“格网索引+ MapReduce”策略下的地理国情统计分析研究) |
| title_sort | research on the analysis and statistic of geographical conditions based on the strategy of grid index mapreduce 格网索引 mapreduce 策略下的地理国情统计分析研究 |
| topic | 地理国情统计分析 地理国情普查数据 格网索引 mapreduce |
| url | https://doi.org/10.3785/j.issn.1008-9497.2017.06.004 |
| work_keys_str_mv | AT linyapinglínyǎpíng researchontheanalysisandstatisticofgeographicalconditionsbasedonthestrategyofgridindexmapreducegéwǎngsuǒyǐnmapreducecèlüèxiàdedelǐguóqíngtǒngjìfēnxīyánjiū AT duzhenhongdùzhènhóng researchontheanalysisandstatisticofgeographicalconditionsbasedonthestrategyofgridindexmapreducegéwǎngsuǒyǐnmapreducecèlüèxiàdedelǐguóqíngtǒngjìfēnxīyánjiū AT zhangfengzhāngfēng researchontheanalysisandstatisticofgeographicalconditionsbasedonthestrategyofgridindexmapreducegéwǎngsuǒyǐnmapreducecèlüèxiàdedelǐguóqíngtǒngjìfēnxīyánjiū AT liurenyiliúrényì researchontheanalysisandstatisticofgeographicalconditionsbasedonthestrategyofgridindexmapreducegéwǎngsuǒyǐnmapreducecèlüèxiàdedelǐguóqíngtǒngjìfēnxīyánjiū |