基于加权网格和信息熵的并行密度聚类算法
TP311; 针对大数据下基于密度的聚类算法中存在的数据网格划分不合理,聚类结果准确度不高以及并行化效率较低等问题,提出了基于MapReduce和加权网格信息熵的DBWGIE-MR算法.首先提出自适应网格划分策略(ADG)来划分网格单元;其次提出邻居网格扩展策略(NE)用于构建每个数据分区的加权网格,以此提高聚类效果;同时提出加权网格信息熵策略(WGIE)来计算网格密度以及密度聚类算法的ε邻域和核心对象,使密度聚类算法更适用于加权网格;接着结合MapReduce计算模型,提出并行计算局部簇算法(COMCORE-MR),从而加快获取局部簇;最后提出了基于并查集的并行合并局部簇算法(MECORE-...
Saved in:
Published in | 计算机科学与探索 Vol. 14; no. 12; pp. 2094 - 2107 |
---|---|
Main Authors | , , |
Format | Journal Article |
Language | Chinese |
Published |
江西理工大学 应用科学学院 信息工程系,江西 赣州 341000%江西理工大学 信息工程学院,江西 赣州 341000
01.12.2020
江西理工大学 信息工程学院,江西 赣州 341000 |
Subjects | |
Online Access | Get full text |
ISSN | 1673-9418 |
DOI | 10.3778/j.issn.1673-9418.1912034 |
Cover
Summary: | TP311; 针对大数据下基于密度的聚类算法中存在的数据网格划分不合理,聚类结果准确度不高以及并行化效率较低等问题,提出了基于MapReduce和加权网格信息熵的DBWGIE-MR算法.首先提出自适应网格划分策略(ADG)来划分网格单元;其次提出邻居网格扩展策略(NE)用于构建每个数据分区的加权网格,以此提高聚类效果;同时提出加权网格信息熵策略(WGIE)来计算网格密度以及密度聚类算法的ε邻域和核心对象,使密度聚类算法更适用于加权网格;接着结合MapReduce计算模型,提出并行计算局部簇算法(COMCORE-MR),从而加快获取局部簇;最后提出了基于并查集的并行合并局部簇算法(MECORE-MR),用于加快合并局部簇的收敛速度,提升了基于密度的聚类算法对局部簇合并的效率.实验结果表明,DBWGIE-MR算法的聚类效果更佳,且在较大规模的数据集下算法的并行化性能更好. |
---|---|
ISSN: | 1673-9418 |
DOI: | 10.3778/j.issn.1673-9418.1912034 |