面向大数据处理应用的广域存算协同调度系统

以我国研发的高性能计算虚拟数据空间系统为基础,针对大数据处理应用如何统筹利用广域存储和计算资源的问题,设计并实现了一套面向大数据处理应用的广域存算协同调度系统.该系统可依据应用的计算特征和数据布局,通过存算协同、负载均衡、数据局部性感知等策略,在广域环境中协同调度应用数据和计算任务,统筹利用广域计算和存储资源,有效提升大数据处理应用的运行性能.在国家高性能计算环境中实际测试的结果表明,提出的调度方法可有效地支撑大数据处理应用,跨域目标协同识别、分子对接等典型应用的运行效率可提升3~4倍....

Full description

Saved in:
Bibliographic Details
Published in大数据 Vol. 7; no. 5; pp. 82 - 97
Main Authors 张晨浩, 肖利民, 秦广军, 宋尧, 蒋世轩, 王继业
Format Journal Article
LanguageChinese
Published 人民邮电出版社有限公司 15.09.2021
软件开发环境国家重点实验室,北京 100191
北京航空航天大学计算机学院,北京 100191%北京联合大学智慧城市学院,北京 100101%国家电网有限公司大数据中心,北京 100031
Subjects
虚拟数据空间
高性能计算环境
大数据处理应用
广域存算协同调度
广域存算协同调度;大数据处理应用;虚拟数据空间;高性能计算环境
Online AccessGet full text
ISSN2096-0271
DOI10.11959/j.issn.2096-0271.2021050

Cover

More Information
Summary:以我国研发的高性能计算虚拟数据空间系统为基础,针对大数据处理应用如何统筹利用广域存储和计算资源的问题,设计并实现了一套面向大数据处理应用的广域存算协同调度系统.该系统可依据应用的计算特征和数据布局,通过存算协同、负载均衡、数据局部性感知等策略,在广域环境中协同调度应用数据和计算任务,统筹利用广域计算和存储资源,有效提升大数据处理应用的运行性能.在国家高性能计算环境中实际测试的结果表明,提出的调度方法可有效地支撑大数据处理应用,跨域目标协同识别、分子对接等典型应用的运行效率可提升3~4倍.
ISSN:2096-0271
DOI:10.11959/j.issn.2096-0271.2021050