面向算力网络的跨域数据管理方法

跨域算力网络希望整合多个算力中心的计算和数据资源，但现有的方案对跨域文件和数据管理关注不够。提出了一种轻量级的跨域算力网络数据管理方案：通过文件系统协议转换，接入远程算力中心的并行文件系统存储资源；算力中心内部的存储资源作为一种补充，应对高IOPS应用；通过容器绑定技术，将远程存储挂载并绑定到指定目录。基于该方案的原型系统已经在高校校级计算平台部署运行。实测数据和用户体验显示，该方案能够满足常见高性能计算应用需求。...

Full description

Saved in:
Bibliographic Details
Published in大数据 Vol. 10; no. 2; pp. 94 - 108
Main Authors 鲁蔚征, 戴奇志, 张策
Format Journal Article
LanguageChinese
Published 人民邮电出版社有限公司 15.03.2024
中国人民大学大型科学仪器共享平台,北京 100083%联旌智能科技(上海)有限公司,上海 200051%华中科技大学网络与计算中心,湖北 武汉 430074
China InfoCom Media Group
Subjects
并行文件系统
异构存储资源
数据管理
算力网络
并行文件系统
数据管理
算力网络
异构存储资源
data management
parallel file system
heterogeneous storage resource
computing power network
Online AccessGet full text
ISSN2096-0271
DOI10.11959/j.issn.2096-0271.2023068

Cover

More Information
Summary:跨域算力网络希望整合多个算力中心的计算和数据资源，但现有的方案对跨域文件和数据管理关注不够。提出了一种轻量级的跨域算力网络数据管理方案：通过文件系统协议转换，接入远程算力中心的并行文件系统存储资源；算力中心内部的存储资源作为一种补充，应对高IOPS应用；通过容器绑定技术，将远程存储挂载并绑定到指定目录。基于该方案的原型系统已经在高校校级计算平台部署运行。实测数据和用户体验显示，该方案能够满足常见高性能计算应用需求。
ISSN:2096-0271
DOI:10.11959/j.issn.2096-0271.2023068