基于HDFS的分布式文件系统
TP311; 在现有的开源分布式文件存储系统HDFS上,构建一个智能大数据存储系统IHDFS.该系统提出了大数据去重模块、大数据放置模块、大数据智能迁移模块和大数据编码模块,构造了智能分布式文件存储系统,可以提高用户访问效率,节省集群的存储空间.实验结果表明,数据去重模块很好地节省了存储空间;数据放置模块合理地分配文件上传的存储层,使数据上传速度提高一倍;数据智能迁移模块提高了用户在高等存储层上文件的命中率,提高了用户获取数据的效率;数据编码模块节省了集群的储存空间,节省了大约原来存储空间的三分之一....
Saved in:
| Published in | 东北大学学报（自然科学版） Vol. 40; no. 6; pp. 795 - 800 |
|---|---|
| Main Authors | , , , |
| Format | Journal Article |
| Language | Chinese |
| Published |
东北大学 信息化建设与网络安全办公室,辽宁 沈阳,110819%东北大学 计算机科学与工程学院,辽宁 沈阳,110169
01.06.2019
|
| Subjects | |
| Online Access | Get full text |
| ISSN | 1005-3026 |
| DOI | 10.12068/j.issn.1005-3026.2019.06.007 |
Cover
| Abstract | TP311; 在现有的开源分布式文件存储系统HDFS上,构建一个智能大数据存储系统IHDFS.该系统提出了大数据去重模块、大数据放置模块、大数据智能迁移模块和大数据编码模块,构造了智能分布式文件存储系统,可以提高用户访问效率,节省集群的存储空间.实验结果表明,数据去重模块很好地节省了存储空间;数据放置模块合理地分配文件上传的存储层,使数据上传速度提高一倍;数据智能迁移模块提高了用户在高等存储层上文件的命中率,提高了用户获取数据的效率;数据编码模块节省了集群的储存空间,节省了大约原来存储空间的三分之一. |
|---|---|
| AbstractList | TP311; 在现有的开源分布式文件存储系统HDFS上,构建一个智能大数据存储系统IHDFS.该系统提出了大数据去重模块、大数据放置模块、大数据智能迁移模块和大数据编码模块,构造了智能分布式文件存储系统,可以提高用户访问效率,节省集群的存储空间.实验结果表明,数据去重模块很好地节省了存储空间;数据放置模块合理地分配文件上传的存储层,使数据上传速度提高一倍;数据智能迁移模块提高了用户在高等存储层上文件的命中率,提高了用户获取数据的效率;数据编码模块节省了集群的储存空间,节省了大约原来存储空间的三分之一. |
| Author | 刘军 李世奇 鲍玉斌 冷芳玲 |
| AuthorAffiliation | 东北大学 信息化建设与网络安全办公室,辽宁 沈阳,110819%东北大学 计算机科学与工程学院,辽宁 沈阳,110169 |
| AuthorAffiliation_xml | – name: 东北大学 信息化建设与网络安全办公室,辽宁 沈阳,110819%东北大学 计算机科学与工程学院,辽宁 沈阳,110169 |
| Author_FL | LIU Jun LENG Fang-ling LI Shi-qi BAO Yu-bin |
| Author_FL_xml | – sequence: 1 fullname: LIU Jun – sequence: 2 fullname: LENG Fang-ling – sequence: 3 fullname: LI Shi-qi – sequence: 4 fullname: BAO Yu-bin |
| Author_xml | – sequence: 1 fullname: 刘军 – sequence: 2 fullname: 冷芳玲 – sequence: 3 fullname: 李世奇 – sequence: 4 fullname: 鲍玉斌 |
| BookMark | eNo9j7tKA0EYRqeIYIx5CUGsdvznPlNKNEYIWKh1mNtKgkzAQUyvqJV2KWzyEIJI1sfJuq9hRLE68BXn42yhVpqmiNAuAUwoSL0_weOcEyYAomBAJaZADAaJAVQLtf_3TdTNeewAwHAlqGmjnXqxXC2fB4f9s-b1vn56qD_u6s-Xr_njqnpv3qqmWmyjjdJe5dj9Ywdd9I_Oe4NieHp80jsYFpkAVUUpHHjuY6SMCa91dGC1sMT5UlLrFWVc-xgkM8HaqCKPQWgSDQ3EsMAV66C9X--tTaVNl6PJ9OY6rR9HwYXZzP00gVwXsW-Q9VBH |
| ClassificationCodes | TP311 |
| ContentType | Journal Article |
| Copyright | Copyright © Wanfang Data Co. Ltd. All Rights Reserved. |
| Copyright_xml | – notice: Copyright © Wanfang Data Co. Ltd. All Rights Reserved. |
| DBID | 2B. 4A8 92I 93N PSX TCJ |
| DOI | 10.12068/j.issn.1005-3026.2019.06.007 |
| DatabaseName | Wanfang Data Journals - Hong Kong WANFANG Data Centre Wanfang Data Journals 万方数据期刊 - 香港版 China Online Journals (COJ) China Online Journals (COJ) |
| DatabaseTitleList | |
| DeliveryMethod | fulltext_linktorsrc |
| Discipline | Engineering |
| DocumentTitle_FL | A Distributed File System Based on HDFS |
| EndPage | 800 |
| ExternalDocumentID | dbdxxb201906007 |
| GrantInformation_xml | – fundername: 国家自然科学基金青年基金资助项目; 国家自然科学基金联合基金资助项目 funderid: (61602103); (U1435216) |
| GroupedDBID | -03 2B. 4A8 5XA 5XD 92E 92I 93N ABDBF ABJNI ACGFS ACUHS ALMA_UNASSIGNED_HOLDINGS CCEZO CEKLB CW9 EAD EAP EAS EOJEC ESX OBODZ PSX TCJ TGP U1G U5M |
| ID | FETCH-LOGICAL-s1027-f5b0c4cee2335c88eb0a85a1bcf62ac72348ced639daae7e4ed581e92d193d473 |
| ISSN | 1005-3026 |
| IngestDate | Thu May 29 03:59:15 EDT 2025 |
| IsPeerReviewed | false |
| IsScholarly | true |
| Issue | 6 |
| Keywords | HDFS 多层存储架构 分布式 优化 智能 |
| Language | Chinese |
| LinkModel | OpenURL |
| MergedId | FETCHMERGED-LOGICAL-s1027-f5b0c4cee2335c88eb0a85a1bcf62ac72348ced639daae7e4ed581e92d193d473 |
| PageCount | 6 |
| ParticipantIDs | wanfang_journals_dbdxxb201906007 |
| PublicationCentury | 2000 |
| PublicationDate | 2019-06-01 |
| PublicationDateYYYYMMDD | 2019-06-01 |
| PublicationDate_xml | – month: 06 year: 2019 text: 2019-06-01 day: 01 |
| PublicationDecade | 2010 |
| PublicationTitle | 东北大学学报（自然科学版） |
| PublicationTitle_FL | Journal of Northeastern University(Natural Science) |
| PublicationYear | 2019 |
| Publisher | 东北大学 信息化建设与网络安全办公室,辽宁 沈阳,110819%东北大学 计算机科学与工程学院,辽宁 沈阳,110169 |
| Publisher_xml | – name: 东北大学 信息化建设与网络安全办公室,辽宁 沈阳,110819%东北大学 计算机科学与工程学院,辽宁 沈阳,110169 |
| SSID | ssib000947529 ssib051368049 ssib023167010 ssj0040330 ssib002039846 ssib004675270 ssib006703041 ssib002263414 ssib008679651 ssib001128993 |
| Score | 2.2287667 |
| Snippet | TP311; 在现有的开源分布式文件存储系统HDFS上,构建一个智能大数据存储系统IHDFS.该系统提出了大数据去重模块、大数据放置模块、大数据智能迁移模块和大数据编码模块,构造了... |
| SourceID | wanfang |
| SourceType | Aggregation Database |
| StartPage | 795 |
| Title | 基于HDFS的分布式文件系统 |
| URI | https://d.wanfangdata.com.cn/periodical/dbdxxb201906007 |
| Volume | 40 |
| hasFullText | 1 |
| inHoldings | 1 |
| isFullTextHit | |
| isPrint | |
| journalDatabaseRights | – providerCode: PRVEBS databaseName: EBSCOhost Academic Search Ultimate issn: 1005-3026 databaseCode: ABDBF dateStart: 20150901 customDbUrl: https://search.ebscohost.com/login.aspx?authtype=ip,shib&custid=s3936755&profile=ehost&defaultdb=asn isFulltext: true dateEnd: 99991231 titleUrlDefault: https://search.ebscohost.com/direct.asp?db=asn omitProxy: true ssIdentifier: ssj0040330 providerName: EBSCOhost |
| link | http://utb.summon.serialssolutions.com/2.0.0/link/0/eLvHCXMwnR3LahRBcAgbED2IT3wTxDqFjTM9069jz-wMQdCLCeQW5rV62oBJIOSqqCe9efCSjxBEEj8na37Dqu6Z3TYGjV6G2p6q6nosXVUz09VB8EjXWOu0ig-bpqbXjKwa6pZXQy7qqOahaEVDG5yfPhOr68mTDb6xMNjyvlra3alW6v0z95X8j1dxDP1Ku2T_wbMzpjiAMPoXr-hhvJ7Lx5Bz0AWkBvKEripfHRXPIZeg8UdCt5UCJQhIEYgtkIEqIBegBShpKVNIBVGlMcEEpMjXz1stmgKdWZ4ZaEmAScA4YARGeAByNmA45IWdTkGuaC5jiDkK5qZDWh15VHhLW2RHNXtE0emhlQVQ8PSXOwJSaScwpABxySFlcxQkGNFYp4KTE-nkHEUjAahRR4xSdObJ_IcitA9L-A9FzmOUZYtUgImsVSIwRY_t3JJa9ykwKHQvIwmLThhZ8zhv2DmMkw3JEXbWMKDzfqTHQQlYRjyRITLpCKNlkoD0VKQwWhOtxTLaoBFpYPyc2lhJjZULAUISRJOaszw604aTj-gPIUlwlXo4KIoGw_5N5MidvNOFU-pzG4euJ0Ifb117rm5d8YOndMet9nmY7WD7e4hnoVA2xtMMK7MZ6CtNbVvxulOUT3VRb6pmb68inFDY7hOLDNOAcBAsmnSUFl7FkUjuVQxYjijtZ8RhrJXfkY8JzAP9rd5I7oVAQRHVqzhsf8v5i3hGjSjCeQbOo1go--LbJZNJGMeuoUqn5oUAeiM8_pMJ7B7EybicvPDS5bUrweWuzl0ybtG6Gizsv7wWXPK6n14PHk4PDo8PP9CSdfL5zfT92-m319PvH398end89PXky9HJ0cGNYL3I17LVYXdky3AbKxU5HPMqrBNMvFkc81qptgpLxcuoqseClbVkcaLqtsGyqCnLVrZJ23AVtZo1WEg2iYxvBoPJ1qS9FSyhmbjSTDZhXSX1OCoTEceStU3ZqkaOw9vBUqfhZrckb2-e8vKdv6PcDS7O1497wWDn1W57H8uMnepB99f4CTD-xKk |
| linkProvider | EBSCOhost |
| openUrl | ctx_ver=Z39.88-2004&ctx_enc=info%3Aofi%2Fenc%3AUTF-8&rfr_id=info%3Asid%2Fsummon.serialssolutions.com&rft_val_fmt=info%3Aofi%2Ffmt%3Akev%3Amtx%3Ajournal&rft.genre=article&rft.atitle=%E5%9F%BA%E4%BA%8EHDFS%E7%9A%84%E5%88%86%E5%B8%83%E5%BC%8F%E6%96%87%E4%BB%B6%E7%B3%BB%E7%BB%9F&rft.jtitle=%E4%B8%9C%E5%8C%97%E5%A4%A7%E5%AD%A6%E5%AD%A6%E6%8A%A5%EF%BC%88%E8%87%AA%E7%84%B6%E7%A7%91%E5%AD%A6%E7%89%88%EF%BC%89&rft.au=%E5%88%98%E5%86%9B&rft.au=%E5%86%B7%E8%8A%B3%E7%8E%B2&rft.au=%E6%9D%8E%E4%B8%96%E5%A5%87&rft.au=%E9%B2%8D%E7%8E%89%E6%96%8C&rft.date=2019-06-01&rft.pub=%E4%B8%9C%E5%8C%97%E5%A4%A7%E5%AD%A6+%E4%BF%A1%E6%81%AF%E5%8C%96%E5%BB%BA%E8%AE%BE%E4%B8%8E%E7%BD%91%E7%BB%9C%E5%AE%89%E5%85%A8%E5%8A%9E%E5%85%AC%E5%AE%A4%2C%E8%BE%BD%E5%AE%81+%E6%B2%88%E9%98%B3%2C110819%25%E4%B8%9C%E5%8C%97%E5%A4%A7%E5%AD%A6+%E8%AE%A1%E7%AE%97%E6%9C%BA%E7%A7%91%E5%AD%A6%E4%B8%8E%E5%B7%A5%E7%A8%8B%E5%AD%A6%E9%99%A2%2C%E8%BE%BD%E5%AE%81+%E6%B2%88%E9%98%B3%2C110169&rft.issn=1005-3026&rft.volume=40&rft.issue=6&rft.spage=795&rft.epage=800&rft_id=info:doi/10.12068%2Fj.issn.1005-3026.2019.06.007&rft.externalDocID=dbdxxb201906007 |
| thumbnail_s | http://utb.summon.serialssolutions.com/2.0.0/image/custom?url=http%3A%2F%2Fwww.wanfangdata.com.cn%2Fimages%2FPeriodicalImages%2Fdbdxxb%2Fdbdxxb.jpg |