基于HDFS的分布式文件系统

TP311; 在现有的开源分布式文件存储系统HDFS上,构建一个智能大数据存储系统IHDFS.该系统提出了大数据去重模块、大数据放置模块、大数据智能迁移模块和大数据编码模块,构造了智能分布式文件存储系统,可以提高用户访问效率,节省集群的存储空间.实验结果表明,数据去重模块很好地节省了存储空间;数据放置模块合理地分配文件上传的存储层,使数据上传速度提高一倍;数据智能迁移模块提高了用户在高等存储层上文件的命中率,提高了用户获取数据的效率;数据编码模块节省了集群的储存空间,节省了大约原来存储空间的三分之一....

Full description

Saved in:
Bibliographic Details
Published in东北大学学报（自然科学版） Vol. 40; no. 6; pp. 795 - 800
Main Authors 刘军, 冷芳玲, 李世奇, 鲍玉斌
Format Journal Article
LanguageChinese
Published 东北大学 信息化建设与网络安全办公室,辽宁 沈阳,110819%东北大学 计算机科学与工程学院,辽宁 沈阳,110169 01.06.2019
Subjects
HDFS
多层存储架构
分布式
优化
智能
Online AccessGet full text
ISSN1005-3026
DOI10.12068/j.issn.1005-3026.2019.06.007

Cover

More Information
Summary:TP311; 在现有的开源分布式文件存储系统HDFS上,构建一个智能大数据存储系统IHDFS.该系统提出了大数据去重模块、大数据放置模块、大数据智能迁移模块和大数据编码模块,构造了智能分布式文件存储系统,可以提高用户访问效率,节省集群的存储空间.实验结果表明,数据去重模块很好地节省了存储空间;数据放置模块合理地分配文件上传的存储层,使数据上传速度提高一倍;数据智能迁移模块提高了用户在高等存储层上文件的命中率,提高了用户获取数据的效率;数据编码模块节省了集群的储存空间,节省了大约原来存储空间的三分之一.
ISSN:1005-3026
DOI:10.12068/j.issn.1005-3026.2019.06.007