基于多智能体深度强化学习的测运控一体化资源调度方法

V19; 随着卫星通信技术的发展,星座规模的不断扩大,测运控一体化成为主流趋势.星座规模大、调度对象多、复杂操作联合控制给卫星网络测运控一体化资源调度带来巨大的挑战.受制于调度算法求解效率低、约束复杂等问题,传统的测运控资源调度技术采用提前上注测控指令,按照固定部署执行任务,难以满足突发事件与紧急任务的调度需求.因此,提出一种基于多智能体演员-评判家确定性策略梯度算法的测运控一体化资源调度方法,采用集中式训练和分布式执行的方法,建立测运控一体化任务的多智能体模型,通过分析邻居智能体局部信息计算调度策略,提高任务的响应速度.依据测运控一体化资源调度问题中的模型和约束,选择影响意义大、可解释的约束...

Full description

Saved in:
Bibliographic Details
Published in天地一体化信息网络 Vol. 4; no. 1; pp. 12 - 22
Main Authors 成思玥, 李浩然, 白卫岗, 周笛, 朱彦
Format Journal Article
LanguageChinese
Published 西安电子科技大学通信工程学院,陕西 西安 710071 01.03.2023
Subjects
资源调度
大规模星座系统
任务收益
多智能体深度强化学习
测运控一体化
Online AccessGet full text
ISSN2096-8930
DOI10.11959/j.issn.2096-8930.2023002

Cover

Abstract V19; 随着卫星通信技术的发展,星座规模的不断扩大,测运控一体化成为主流趋势.星座规模大、调度对象多、复杂操作联合控制给卫星网络测运控一体化资源调度带来巨大的挑战.受制于调度算法求解效率低、约束复杂等问题,传统的测运控资源调度技术采用提前上注测控指令,按照固定部署执行任务,难以满足突发事件与紧急任务的调度需求.因此,提出一种基于多智能体演员-评判家确定性策略梯度算法的测运控一体化资源调度方法,采用集中式训练和分布式执行的方法,建立测运控一体化任务的多智能体模型,通过分析邻居智能体局部信息计算调度策略,提高任务的响应速度.依据测运控一体化资源调度问题中的模型和约束,选择影响意义大、可解释的约束,建立多智能体资源调度强化学习模型,并进行仿真测试.测试结果显示,该方法的任务收益较传统方法提高22％.
AbstractList V19; 随着卫星通信技术的发展,星座规模的不断扩大,测运控一体化成为主流趋势.星座规模大、调度对象多、复杂操作联合控制给卫星网络测运控一体化资源调度带来巨大的挑战.受制于调度算法求解效率低、约束复杂等问题,传统的测运控资源调度技术采用提前上注测控指令,按照固定部署执行任务,难以满足突发事件与紧急任务的调度需求.因此,提出一种基于多智能体演员-评判家确定性策略梯度算法的测运控一体化资源调度方法,采用集中式训练和分布式执行的方法,建立测运控一体化任务的多智能体模型,通过分析邻居智能体局部信息计算调度策略,提高任务的响应速度.依据测运控一体化资源调度问题中的模型和约束,选择影响意义大、可解释的约束,建立多智能体资源调度强化学习模型,并进行仿真测试.测试结果显示,该方法的任务收益较传统方法提高22％.
Author 周笛
朱彦
李浩然
成思玥
白卫岗
AuthorAffiliation 西安电子科技大学通信工程学院,陕西 西安 710071
AuthorAffiliation_xml – name: 西安电子科技大学通信工程学院,陕西 西安 710071
Author_FL LI Haoran
CHENG Siyue
BAI Weigang
ZHU Yan
ZHOU Di
Author_FL_xml – sequence: 1
  fullname: CHENG Siyue
– sequence: 2
  fullname: LI Haoran
– sequence: 3
  fullname: BAI Weigang
– sequence: 4
  fullname: ZHOU Di
– sequence: 5
  fullname: ZHU Yan
Author_xml – sequence: 1
  fullname: 成思玥
– sequence: 2
  fullname: 李浩然
– sequence: 3
  fullname: 白卫岗
– sequence: 4
  fullname: 周笛
– sequence: 5
  fullname: 朱彦
BookMark eNo9T0tLw0AY3EMFa-2P8CokfvtI0j1K8YUFL3oum8dqS0nBrbTehPamlIJYsBc9SD0JihRtsPhnsmt-hkHF0wwzwwyzggpxO44QWsNgY8wdvtG0G0rFNgHuWhVOIWeEApACKv5ry6isVMMHRj3GMWFFtK_vkjQZ6oeJuU2y_iJdXJu3F51M9Ueir8b6aZrO778mAzO7zD5HZviYvl_kmdzKZgOTjLLnfh4247l5vVlFS1K0VFT-wxI62t46rO5atYOdvepmzVIYHGKFFYhowF1goS-YoIHLQhlEPgbqBcC5ZI7ne4xEELjAwZVSVjwiHI9GAZWC0xJa_-3tiliK-LjebJ-dxvlivROed056vW7r5zvO39NvWiBwZg
ClassificationCodes V19
ContentType Journal Article
Copyright Copyright © Wanfang Data Co. Ltd. All Rights Reserved.
Copyright_xml – notice: Copyright © Wanfang Data Co. Ltd. All Rights Reserved.
DBID 2B.
4A8
92I
93N
PSX
TCJ
DOI 10.11959/j.issn.2096-8930.2023002
DatabaseName Wanfang Data Journals - Hong Kong
WANFANG Data Centre
Wanfang Data Journals
万方数据期刊 - 香港版
China Online Journals (COJ)
China Online Journals (COJ)
DatabaseTitleList
DeliveryMethod fulltext_linktorsrc
DocumentTitle_FL Resource Scheduling Method for Integration of TT&C and Observation Based on Multi-Agent Deep Reinforcement Learning
EndPage 22
ExternalDocumentID tdythxxwl202301002
GrantInformation_xml – fundername: (国家重点研发计划); (国家自然科学基金); (秦创原引用高层次创新创业人才项目)
  funderid: (国家重点研发计划); (国家自然科学基金); (秦创原引用高层次创新创业人才项目)
GroupedDBID -SI
-S~
2B.
2RA
4A8
92I
93N
AAXDM
ALMA_UNASSIGNED_HOLDINGS
CAJEI
CQIGP
GROUPED_DOAJ
PB1
PB9
PSX
Q--
TCJ
ID FETCH-LOGICAL-s1052-d80e3c9604dba4a3c64dfceb1037c099f457b742e0c60906fff872a573ec3fa93
ISSN 2096-8930
IngestDate Thu May 29 04:06:25 EDT 2025
IsPeerReviewed false
IsScholarly false
Issue 1
Keywords 资源调度
大规模星座系统
任务收益
多智能体深度强化学习
测运控一体化
Language Chinese
LinkModel OpenURL
MergedId FETCHMERGED-LOGICAL-s1052-d80e3c9604dba4a3c64dfceb1037c099f457b742e0c60906fff872a573ec3fa93
PageCount 11
ParticipantIDs wanfang_journals_tdythxxwl202301002
PublicationCentury 2000
PublicationDate 2023-03-01
PublicationDateYYYYMMDD 2023-03-01
PublicationDate_xml – month: 03
  year: 2023
  text: 2023-03-01
  day: 01
PublicationDecade 2020
PublicationTitle 天地一体化信息网络
PublicationTitle_FL Space-Integrated-Ground Information Networks
PublicationYear 2023
Publisher 西安电子科技大学通信工程学院,陕西 西安 710071
Publisher_xml – name: 西安电子科技大学通信工程学院,陕西 西安 710071
SSID ssib043749124
ssib051371320
ssib058759022
ssj0002891642
Score 1.9363674
Snippet V19; 随着卫星通信技术的发展,星座规模的不断扩大,测运控一体化成为主流趋势.星座规模大、调度对象多、复杂操作联合控制给卫星网络测运控一体化资源调度带来巨大的挑战.受制...
SourceID wanfang
SourceType Aggregation Database
StartPage 12
Title 基于多智能体深度强化学习的测运控一体化资源调度方法
URI https://d.wanfangdata.com.cn/periodical/tdythxxwl202301002
Volume 4
hasFullText 1
inHoldings 1
isFullTextHit
isPrint
journalDatabaseRights – providerCode: PRVAON
  databaseName: DOAJ Directory of Open Access Journals
  issn: 2096-8930
  databaseCode: DOA
  dateStart: 20200101
  customDbUrl:
  isFulltext: true
  dateEnd: 99991231
  titleUrlDefault: https://www.doaj.org/
  omitProxy: true
  ssIdentifier: ssj0002891642
  providerName: Directory of Open Access Journals
– providerCode: PRVHPJ
  databaseName: ROAD: Directory of Open Access Scholarly Resources
  issn: 2096-8930
  databaseCode: M~E
  dateStart: 20200101
  customDbUrl:
  isFulltext: true
  dateEnd: 99991231
  titleUrlDefault: https://road.issn.org
  omitProxy: true
  ssIdentifier: ssib058759022
  providerName: ISSN International Centre
link http://utb.summon.serialssolutions.com/2.0.0/link/0/eLvHCXMwnV3NaxNBFF9qBfEiioqfpaJzKqn7MbMzc5xNNhSlnlrorST7YRGJYFOsPYjQ3pRSEAv2ogepJ0GRog0W_5kk5l_w5ntvN9mFqKiXZfbNb968j519M7vzYVk3tIg57uoNbz8NAxTl6kqTN9NK4tmJaHg89emsw_k7_twiv7UkliaO_SjNWlprN2ejjV-uK_kfrwIN_IqrZP_BsyOmQIA0-Beu4GG4_pWPWSiYrrPAsJDjVYVIMZxpoPhMa8pSTHksqBGmxrSHWYFkgYNgABifElUCC6aqTBPF1CgLSmlmbBZKZKs4FQdYgJyDOtM2UqBqIwmscPJEUdeIoaJSWXFDpYBio2yFGD4ioTrEeCw7F3PYdc5VM5q0rmLZP1XHUTbjkGwOM3WUHzEOJQLgMHzWCKKGethM1xCCCokyBMhoX1IehZCoTOAXEEkGr5EMYLqA9HKZlgVEYP1GIdaAmEH5m4vrFZPOqJWggYxANVDzkCmqVHMUIHOPJq-A3XWmpyFbZGaSJRdqUsuUjCLwCQDmWFyRL0tgUMO40PbytBYjSWbGZZrBjZuy822ygOLCcLUC_VO7HP34WCPPIlk-uT3rE2VLx8ejrRaawi2ynx2xn0WT2bZbdDFGEz_b8eP2yvr6o_sEcWgb2OMuBGQ8dWX-STgMBdyTXDvFQQLC8SQu9h_dwzBb2_nOk_ey_-Uw8Md_hiMxTljXhkLe_J2ItFSvlTZad0u9yoXT1ql8ODhtsrZ9xprYWDlr3e697nQ72723e_1XncHmUffoRf_zx15nv_e103u-23u_3z18831vq3_wbPBtp7_9rvvlKWAga3Cw1e_sDD5sAri_e9j_9PKctVgPF6pzlfzQk8oqDHXcSqzsxItwy6S42eANL_J5nEbQo7I9GcFwLuVCNiV3EzvybW37aZoq6TaE9JLISxvaO29Nth60kgvWNBeRL6PEiWMueKyUjnHnpqgBLHgSa33Rup4rv5y_1FaXxx106a9Ql62TRUO5Yk22H64lV6G73m5O0WeuKXLvT9JrtPU
linkProvider ISSN International Centre
openUrl ctx_ver=Z39.88-2004&ctx_enc=info%3Aofi%2Fenc%3AUTF-8&rfr_id=info%3Asid%2Fsummon.serialssolutions.com&rft_val_fmt=info%3Aofi%2Ffmt%3Akev%3Amtx%3Ajournal&rft.genre=article&rft.atitle=%E5%9F%BA%E4%BA%8E%E5%A4%9A%E6%99%BA%E8%83%BD%E4%BD%93%E6%B7%B1%E5%BA%A6%E5%BC%BA%E5%8C%96%E5%AD%A6%E4%B9%A0%E7%9A%84%E6%B5%8B%E8%BF%90%E6%8E%A7%E4%B8%80%E4%BD%93%E5%8C%96%E8%B5%84%E6%BA%90%E8%B0%83%E5%BA%A6%E6%96%B9%E6%B3%95&rft.jtitle=%E5%A4%A9%E5%9C%B0%E4%B8%80%E4%BD%93%E5%8C%96%E4%BF%A1%E6%81%AF%E7%BD%91%E7%BB%9C&rft.au=%E6%88%90%E6%80%9D%E7%8E%A5&rft.au=%E6%9D%8E%E6%B5%A9%E7%84%B6&rft.au=%E7%99%BD%E5%8D%AB%E5%B2%97&rft.au=%E5%91%A8%E7%AC%9B&rft.date=2023-03-01&rft.pub=%E8%A5%BF%E5%AE%89%E7%94%B5%E5%AD%90%E7%A7%91%E6%8A%80%E5%A4%A7%E5%AD%A6%E9%80%9A%E4%BF%A1%E5%B7%A5%E7%A8%8B%E5%AD%A6%E9%99%A2%2C%E9%99%95%E8%A5%BF+%E8%A5%BF%E5%AE%89+710071&rft.issn=2096-8930&rft.volume=4&rft.issue=1&rft.spage=12&rft.epage=22&rft_id=info:doi/10.11959%2Fj.issn.2096-8930.2023002&rft.externalDocID=tdythxxwl202301002
thumbnail_s http://utb.summon.serialssolutions.com/2.0.0/image/custom?url=http%3A%2F%2Fwww.wanfangdata.com.cn%2Fimages%2FPeriodicalImages%2Ftdythxxwl%2Ftdythxxwl.jpg