异构边缘计算环境下异步联邦学习的节点分组与分时调度策略

TP301; 为了克服异构边缘计算环境下联邦学习的3个关键挑战,边缘异构性、非独立同分布数据及通信资源约束,提出了一种分组异步联邦学习(FedGA)机制,将边缘节点分为多个组,各个分组间通过异步方式与全局模型聚合进行全局更新,每个分组内部节点通过分时方式与参数服务器通信.理论分析建立了 FedGA 的收敛界与分组间数据分布之间的定量关系.针对分组内节点的通信提出了分时调度策略魔镜法(MMM)优化模型单轮更新的完成时间.基于FedGA的理论分析和MMM,设计了一种有效的分组算法来最小化整体训练的完成时间.实验结果表明,FedGA和MMM相对于现有最先进的方法能降低30.1%～87.4%的模型训练...

Full description

Saved in:
Bibliographic Details
Published in通信学报 Vol. 44; no. 11; pp. 79 - 93
Main Authors 马千飘, 贾庆民, 刘建春, 徐宏力, 谢人超, 黄韬
Format Journal Article
LanguageChinese
Published 中国科学技术大学苏州高等研究院,江苏 苏州 215123%网络通信与安全紫金山实验室未来网络研究中心,江苏 南京 211111 01.11.2023
网络通信与安全紫金山实验室未来网络研究中心,江苏 南京 211111%中国科学技术大学计算机科学与技术学院,安徽 合肥 230026
北京邮电大学网络与交换技术国家重点实验室,北京 100876
Subjects
异构性
convergence analysis
边缘计算
edge computing
收敛分析
Non-IID
非独立同分布数据
联邦学习
heterogeneity
federated learning
Online AccessGet full text
ISSN1000-436X
DOI10.11959/j.issn.1000-436x.2023196

Cover

More Information
Summary:TP301; 为了克服异构边缘计算环境下联邦学习的3个关键挑战,边缘异构性、非独立同分布数据及通信资源约束,提出了一种分组异步联邦学习(FedGA)机制,将边缘节点分为多个组,各个分组间通过异步方式与全局模型聚合进行全局更新,每个分组内部节点通过分时方式与参数服务器通信.理论分析建立了 FedGA 的收敛界与分组间数据分布之间的定量关系.针对分组内节点的通信提出了分时调度策略魔镜法(MMM)优化模型单轮更新的完成时间.基于FedGA的理论分析和MMM,设计了一种有效的分组算法来最小化整体训练的完成时间.实验结果表明,FedGA和MMM相对于现有最先进的方法能降低30.1%～87.4%的模型训练时间.
ISSN:1000-436X
DOI:10.11959/j.issn.1000-436x.2023196