面向大模型的智算网络发展研究

近年来，全球进入智能计算的蓬勃发展期，作为具有巨量参数和复杂结构的深度学习模型，大模型训练需要在多卡、多服务器间实现训练参数的快速同步，所以对算力中心网络的带宽、时延、可靠性、可扩展性和安全性等提出更高要求。研究了面向大模型训练的智算网络的需求和相关关键技术，对智算网络的研究成果、标准规范和案例实践进行了分析，以期进一步促进智算网络的发展。...

Full description

Saved in:
Bibliographic Details
Published inDianxin Kexue Vol. 40; no. 6; pp. 137 - 145
Main Authors 郭亮, 王少鹏, 权伟, 李洁
Format Journal Article
LanguageChinese
Published 中国通信学会 20.06.2024
人民邮电出版社有限公司
中国信息通信研究院云计算与大数据研究所,北京 100191
北京交通大学电子信息工程学院,北京 100044%中国信息通信研究院云计算与大数据研究所,北京 100191%北京交通大学电子信息工程学院,北京 100044
Beijing Xintong Media Co., Ltd
Subjects
大模型
智算中心
网络技术
智算中心
网络技术
大模型
large model
intelligent computing center
network technology
Online AccessGet full text
ISSN1000-0801
DOI10.11959/j.issn.1000-0801.2024147

Cover

More Information
Summary:近年来，全球进入智能计算的蓬勃发展期，作为具有巨量参数和复杂结构的深度学习模型，大模型训练需要在多卡、多服务器间实现训练参数的快速同步，所以对算力中心网络的带宽、时延、可靠性、可扩展性和安全性等提出更高要求。研究了面向大模型训练的智算网络的需求和相关关键技术，对智算网络的研究成果、标准规范和案例实践进行了分析，以期进一步促进智算网络的发展。
ISSN:1000-0801
DOI:10.11959/j.issn.1000-0801.2024147