大数据分析中基于MapReduce的空间权重创建方法研究

大数据空间分析是Cyber-GIS的重要方面。如何利用现有的网络基础设施（如大规模计算集群）对大数据进行并行分布式空间分析仍然是一大难题。提出一种基于MapReduce的空间权重创建方法。该方法依托Hadoop框架组织计算资源,基于MapReduce模式从大规模空间数据集中高效创建出空间权重：大空间数据首先被分为多个数据块,然后将映射器分布给计算集群中的不同节点,以便在数据中寻找出空间对象的相邻对象,最后由约简器从不同节点处收集相关结果并生成权重文件。利用Amazon公司弹性MapReduce的Hadoop框架,从人工空间数据中创建基于邻近概念的权重矩阵进行仿真,实验结果表明,本方法的性能优于...

Full description

Saved in:
Bibliographic Details
Published in计算机应用研究 Vol. 33; no. 7; pp. 2068 - 2070
Main Author 赵梦龙 唐郑熠 万良 韦力
Format Journal Article
LanguageChinese
Published 贵州职业技术学院信息技术系,贵阳,550023%福建工程学院信息科学与工程学院,福州,350118%贵州大学计算机科学与技术学院,贵阳,550025%贵州师范大学数学与计算机科学学院,贵阳,550004 2016
Subjects
MapReduce
可扩展性
大数据空间分析
空间权重
附近邻居
contiguous neighbors
spatial weights
大数据空间分析
空间权重
可扩展性
附近邻居
spatial analysis of big data
scalability
MapReduce
Online AccessGet full text
ISSN1001-3695
DOI10.3969/j.issn.1001-3695.2016.07.032

Cover

More Information
Summary:大数据空间分析是Cyber-GIS的重要方面。如何利用现有的网络基础设施（如大规模计算集群）对大数据进行并行分布式空间分析仍然是一大难题。提出一种基于MapReduce的空间权重创建方法。该方法依托Hadoop框架组织计算资源,基于MapReduce模式从大规模空间数据集中高效创建出空间权重：大空间数据首先被分为多个数据块,然后将映射器分布给计算集群中的不同节点,以便在数据中寻找出空间对象的相邻对象,最后由约简器从不同节点处收集相关结果并生成权重文件。利用Amazon公司弹性MapReduce的Hadoop框架,从人工空间数据中创建基于邻近概念的权重矩阵进行仿真,实验结果表明,本方法的性能优于传统方法,解决了大数据的空间权重创建问题。
Bibliography:Zhao Menglong , Tang Zhengyi, Wan Liang , Wei Li （ 1. Dept. of Information Technology, Guizhou Vocational Technology Institute, Guiyang 550023, China; 2. School of Information Science ＆ Engineering, Fujian University of Technology, Fuzhou 350118, China; 3. School of Computer Science ＆ Technology, Guizhou University, Guiyang 550025, China; 4. School of Mathematics ＆ Cotnputer Science, Guizhou Normal University, Guiyang 550004, China）
51-1196/TP
spatial analysis of big data; MapReduce; spatial weights; contiguous neighbors; scalability
Spatial analysis of Big data was a key component of Cyber-GIS. However, how to utilize existing cyber infrastructure （ e. g. large computing clusters） to perform parallel and distributed spatial analysis on Big data remains a huge challenge. To solve this problem,this paper proposed a construction method of spatial weights based on MapReduce. It created spatial weights from very large spatial datasets efficiently by using computing resources that were organized in the Hadoop framewo
ISSN:1001-3695
DOI:10.3969/j.issn.1001-3695.2016.07.032