执行时间预测驱动的工作流作业调度

TP393; 针对工作流作业调度问题,提出使用关键路径法进行工作流的执行时间预测和资源分配.工作流执行时间预测算法使用并行应用有向无环图描述工作流中子作业的执行顺序.基于此顺序,为子作业进行系统资源的逻辑分配.根据子作业的特征和资源分配信息,使用梯度提升决策树进行子作业执行时间预测,并计算工作流的关键路径.关键路径上所有子作业的完成时间之和即为工作流的执行时间.若预测的工作流执行时间满足用户要求,则根据子作业执行顺序和资源分配方案进行作业调度,执行工作流.对比实验表明,两个工作流的执行时间预测误差分别为5.72％和1.57％.与Spark默认调度算法相比,工作流调度算法将两个工作流的完成时间分...

Full description

Saved in:
Bibliographic Details
Published in国防科技大学学报 Vol. 46; no. 5; pp. 228 - 238
Main Authors 胡亚红, 邱圆圆, 毛家发
Format Journal Article
LanguageChinese
Published 浙江工业大学计算机科学与技术学院,浙江杭州 310023 01.10.2024
Subjects
工作流
time prediction
workflow
critical path
关键路径
调度算法
时间预测
梯度提升决策树
scheduling algorithm
gradient boosting decision tree
Online AccessGet full text
ISSN1001-2486
DOI10.11887/j.cn.202405024

Cover

More Information
Summary:TP393; 针对工作流作业调度问题,提出使用关键路径法进行工作流的执行时间预测和资源分配.工作流执行时间预测算法使用并行应用有向无环图描述工作流中子作业的执行顺序.基于此顺序,为子作业进行系统资源的逻辑分配.根据子作业的特征和资源分配信息,使用梯度提升决策树进行子作业执行时间预测,并计算工作流的关键路径.关键路径上所有子作业的完成时间之和即为工作流的执行时间.若预测的工作流执行时间满足用户要求,则根据子作业执行顺序和资源分配方案进行作业调度,执行工作流.对比实验表明,两个工作流的执行时间预测误差分别为5.72％和1.57％.与Spark默认调度算法相比,工作流调度算法将两个工作流的完成时间分别缩短了 15.71％和15.44％.
ISSN:1001-2486
DOI:10.11887/j.cn.202405024