面向国家高性能计算环境的虚拟数据空间系统

• Published in: 大数据 Vol. 7; no. 2; pp. 101 - 122
• Main Authors: 秦广军, 肖利民, 张广艳, 牛北方, 陈志广
• Format: Journal Article
• Language: Chinese
• Published: 人民邮电出版社有限公司 15.03.2021; 中国科学院大学,北京 100190%中山大学计算机学院,广东 广州 510006; 北京联合大学智慧城市学院,北京 100101%北京航空航天大学计算机学院,北京 100191; 软件开发环境国家重点实验室,北京 100191%清华大学计算机科学与技术系,北京 100084%中国科学院计算机网络信息中心,北京 100190
• Subjects: 统一命名空间; 广域分布式存储; 虚拟数据空间; 高性能计算环境; 大型计算问题
• ISSN: 2096-0271
• DOI: 10.11959/j.issn.2096-0271.2021016

高性能计算环境是支撑国家科技创新、经济发展、国防建设的核心信息基础设施,世界高性能计算强国纷纷建设基于多超算中心资源的广域高性能计算环境.然而,高性能计算环境中资源种类繁多且地域分布广,无法有效发挥资源的聚合效应,难以满足大型应用对广域分布数据的统一管理和高效访问需求.为此,提出了一套可用于构建广域全局虚拟数据空间的完整技术体系,包括虚拟数据空间模型、跨域虚拟数据空间构建、广域环境中数据高效迁移、广域环境中存算协同调度、跨域高并发数据聚合处理等技术,并研发了一个可运行于国家高性能计算环境的虚拟数据空间系统,可有效支撑广域分散异构存储资源的统一高效访问,实现广域环境中分布数据的跨域共享和协同处理.目前,该软件系统已在国家高性能计算环境实验性部署,并验证了分子对接、全基因组关联分析、天气预报模式3类典型大型应用.验证结果表明,所研虚拟数据空间构建方法和系统可有效聚合广域分散的存储资源,满足大型应用的数据空间需求.