一类基于概率优先经验回放机制的分布式多智能体软行动-评论者算法

• Published in: 北京工业大学学报 Vol. 49; no. 4; pp. 459 - 466
• Main Authors: 张严心, 孔涵, 殷辰堃, 王子豪, 黄志清
• Format: Journal Article
• Language: Chinese
• Published: 北京交通大学电子信息工程学院,北京 100044%北京工业大学信息学部,北京 100124 01.04.2023
• Subjects: 多智能体深度强化学习(DRL); 软行动-评论者算法; 抽样概率; 多智能体系统(MAS); 优先经验回放机制; 分布式结构
• ISSN: 0254-0037
• DOI: 10.11936/bjutxb2022110019

TP83%TP311; 针对实际多智能体系统对交互经验的庞大需求,在单智能体领域分布式架构的基础上,提出概率经验优先回放机制与分布式架构并行的多智能体软行动-评论者算法(multi-agent soft Actor-Critic with probabilistic prioritized experience replay based on a distributed paradigm,DPER-MASAC).该算法中的行动者以并行与环境交互的方式收集经验数据,为突破单纯最近经验在多智能体高吞吐量情况下被高概率抽取的局限性,提出更为普适的改进的基于优先级的概率方式对经验数据进行抽样利用的模式,并对智能体的网络参数进行更新.为验证算法的效率,设计了难度递增的2类合作和竞争关系共存的捕食者-猎物任务场景,将DPER-MASAC与多智能体软行动-评论者算法(multi-agent soft Actor-Critic,MASAC)和带有优先经验回放机制的多智能体软行动-评论者算法(multi-agent soft Actor-Critic with prioritized experience replay,PER-MASAC)2种基线算法进行对比实验.结果表明,采用DPER-MASAC训练的捕食者团队其决策水平在最终性能和任务成功率2个维度上均有明显提升.