基于加权网格和信息熵的并行密度聚类算法

TP311; 针对大数据下基于密度的聚类算法中存在的数据网格划分不合理,聚类结果准确度不高以及并行化效率较低等问题,提出了基于MapReduce和加权网格信息熵的DBWGIE-MR算法.首先提出自适应网格划分策略(ADG)来划分网格单元;其次提出邻居网格扩展策略(NE)用于构建每个数据分区的加权网格,以此提高聚类效果;同时提出加权网格信息熵策略(WGIE)来计算网格密度以及密度聚类算法的ε邻域和核心对象,使密度聚类算法更适用于加权网格;接着结合MapReduce计算模型,提出并行计算局部簇算法(COMCORE-MR),从而加快获取局部簇;最后提出了基于并查集的并行合并局部簇算法(MECORE-...

Full description

Saved in:
Bibliographic Details
Published in计算机科学与探索 Vol. 14; no. 12; pp. 2094 - 2107
Main Authors 胡健, 徐锴滨, 毛伊敏
Format Journal Article
LanguageChinese
Published 江西理工大学 应用科学学院 信息工程系,江西 赣州 341000%江西理工大学 信息工程学院,江西 赣州 341000 01.12.2020
江西理工大学 信息工程学院,江西 赣州 341000
Subjects
Online AccessGet full text
ISSN1673-9418
DOI10.3778/j.issn.1673-9418.1912034

Cover

More Information
Summary:TP311; 针对大数据下基于密度的聚类算法中存在的数据网格划分不合理,聚类结果准确度不高以及并行化效率较低等问题,提出了基于MapReduce和加权网格信息熵的DBWGIE-MR算法.首先提出自适应网格划分策略(ADG)来划分网格单元;其次提出邻居网格扩展策略(NE)用于构建每个数据分区的加权网格,以此提高聚类效果;同时提出加权网格信息熵策略(WGIE)来计算网格密度以及密度聚类算法的ε邻域和核心对象,使密度聚类算法更适用于加权网格;接着结合MapReduce计算模型,提出并行计算局部簇算法(COMCORE-MR),从而加快获取局部簇;最后提出了基于并查集的并行合并局部簇算法(MECORE-MR),用于加快合并局部簇的收敛速度,提升了基于密度的聚类算法对局部簇合并的效率.实验结果表明,DBWGIE-MR算法的聚类效果更佳,且在较大规模的数据集下算法的并行化性能更好.
ISSN:1673-9418
DOI:10.3778/j.issn.1673-9418.1912034