基于离线强化学习的交叉口生态驾驶控制

U491.4; 针对传统强化学习算法在现实场景下训练难以实现的问题,提出一种基于离线强化学习的自适应车辆交叉口生态驾驶控制策略.首先,将车辆油耗与行驶距离作为复合奖励函数的一部分,构造了V2 I(vehicle-to-infrastructure)下的车辆交叉口马尔可夫决策过程.通过在SUMO仿真软件中利用GLOSA系统收集少量训练数据,基于BCQ(batch-constrained deep Q-learning)算法进行离线训练,解决了离线数据与真实场景下分布偏移的问题.将模型部署在仿真环境,实验结果表明,在单交叉口与多交叉口情景,几乎不牺牲车辆机动性的前提下,能耗经济性可以分别提升25....

Full description

Saved in:
Bibliographic Details
Published in东南大学学报（自然科学版） Vol. 52; no. 4; pp. 762 - 769
Main Authors 张健, 姜夏, 史晓宇, 程健, 郑岳标
Format Journal Article
LanguageChinese
Published 东南大学江苏省城市智能交通重点实验室,南京211189 01.07.2022
东南大学交通学院,南京211189%南京莱斯信息技术股份有限公司,南京210000
西藏大学工学院,拉萨850000%东南大学江苏省城市智能交通重点实验室,南京211189
东南大学交通学院,南京211189
Subjects
信号交叉口
生态驾驶
智能交通系统
离线强化学习
Online AccessGet full text
ISSN1001-0505
DOI10.3969/j.issn.1001-0505.2022.04.018

Cover

Abstract U491.4; 针对传统强化学习算法在现实场景下训练难以实现的问题,提出一种基于离线强化学习的自适应车辆交叉口生态驾驶控制策略.首先,将车辆油耗与行驶距离作为复合奖励函数的一部分,构造了V2 I(vehicle-to-infrastructure)下的车辆交叉口马尔可夫决策过程.通过在SUMO仿真软件中利用GLOSA系统收集少量训练数据,基于BCQ(batch-constrained deep Q-learning)算法进行离线训练,解决了离线数据与真实场景下分布偏移的问题.将模型部署在仿真环境,实验结果表明,在单交叉口与多交叉口情景,几乎不牺牲车辆机动性的前提下,能耗经济性可以分别提升25.14％和11.49％.此外,对不同V2I通信距离进行分析,发现随着通信距离的增加,算法控制效果与稳定性均有所提升,为工程实践提供了借鉴.
AbstractList U491.4; 针对传统强化学习算法在现实场景下训练难以实现的问题,提出一种基于离线强化学习的自适应车辆交叉口生态驾驶控制策略.首先,将车辆油耗与行驶距离作为复合奖励函数的一部分,构造了V2 I(vehicle-to-infrastructure)下的车辆交叉口马尔可夫决策过程.通过在SUMO仿真软件中利用GLOSA系统收集少量训练数据,基于BCQ(batch-constrained deep Q-learning)算法进行离线训练,解决了离线数据与真实场景下分布偏移的问题.将模型部署在仿真环境,实验结果表明,在单交叉口与多交叉口情景,几乎不牺牲车辆机动性的前提下,能耗经济性可以分别提升25.14％和11.49％.此外,对不同V2I通信距离进行分析,发现随着通信距离的增加,算法控制效果与稳定性均有所提升,为工程实践提供了借鉴.
Author 姜夏
史晓宇
程健
张健
郑岳标
AuthorAffiliation 东南大学江苏省城市智能交通重点实验室,南京211189;东南大学交通学院,南京211189;西藏大学工学院,拉萨850000%东南大学江苏省城市智能交通重点实验室,南京211189;东南大学交通学院,南京211189%南京莱斯信息技术股份有限公司,南京210000
AuthorAffiliation_xml – name: 东南大学江苏省城市智能交通重点实验室,南京211189;东南大学交通学院,南京211189;西藏大学工学院,拉萨850000%东南大学江苏省城市智能交通重点实验室,南京211189;东南大学交通学院,南京211189%南京莱斯信息技术股份有限公司,南京210000
Author_FL Cheng Jian
Shi Xiaoyu
Jiang Xia
Zhang Jian
Zheng Yuebiao
Author_FL_xml – sequence: 1
  fullname: Zhang Jian
– sequence: 2
  fullname: Jiang Xia
– sequence: 3
  fullname: Shi Xiaoyu
– sequence: 4
  fullname: Cheng Jian
– sequence: 5
  fullname: Zheng Yuebiao
Author_xml – sequence: 1
  fullname: 张健
– sequence: 2
  fullname: 姜夏
– sequence: 3
  fullname: 史晓宇
– sequence: 4
  fullname: 程健
– sequence: 5
  fullname: 郑岳标
BookMark eNo9j79LAzEcxTNUsNb-F4LTxW-Su5iMUvwFBRedSy6XSIukYBA7KjgoSLuIg0sFpdLBteAp-s9cevS_8ETxLQ8-PN7jraCa6zuD0BoBzCSXGz3c9d5hAkAiSCDBFCjFEGMgoobq_3wZNb3vpkAolVWC1xEP47zIh-Xkvcy_wkcebu_D66R4eywfror8OYxuwuipvBvPLy4X08_FdDYfvoTr2SpasurEm-afN9DRzvZhay9qH-zut7bakSdARZTFVkJCqSCp1bExwLkyopI0TDBtE-CWGw6JlVpbxm2qdFbRWG4KasCyBlr_7T1Xzip33On1z05dtdjJXDYYpD8_Ia5esm9_lGAG
ClassificationCodes U491.4
ContentType Journal Article
Copyright Copyright © Wanfang Data Co. Ltd. All Rights Reserved.
Copyright_xml – notice: Copyright © Wanfang Data Co. Ltd. All Rights Reserved.
DBID 2B.
4A8
92I
93N
PSX
TCJ
DOI 10.3969/j.issn.1001-0505.2022.04.018
DatabaseName Wanfang Data Journals - Hong Kong
WANFANG Data Centre
Wanfang Data Journals
万方数据期刊 - 香港版
China Online Journals (COJ)
China Online Journals (COJ)
DatabaseTitleList
DeliveryMethod fulltext_linktorsrc
DocumentTitle_FL Offline reinforcement learning for eco-driving control at signalized intersections
EndPage 769
ExternalDocumentID dndxxb202204018
GrantInformation_xml – fundername: (国家重点研发计划); (江苏省重点研发计划资助项目); (工业和信息化部公共服务平台建设资助项目)
  funderid: (国家重点研发计划); (江苏省重点研发计划资助项目); (工业和信息化部公共服务平台建设资助项目)
GroupedDBID 2B.
4A8
92I
93N
ADMLS
ALMA_UNASSIGNED_HOLDINGS
PSX
TCJ
ID FETCH-LOGICAL-s1028-d4f9052281bfc4ee066ae88889e383cf506f6e605f9ccf36fbacdf5049782e0f3
ISSN 1001-0505
IngestDate Thu May 29 04:08:38 EDT 2025
IsPeerReviewed true
IsScholarly true
Issue 4
Keywords 信号交叉口
生态驾驶
智能交通系统
离线强化学习
Language Chinese
LinkModel OpenURL
MergedId FETCHMERGED-LOGICAL-s1028-d4f9052281bfc4ee066ae88889e383cf506f6e605f9ccf36fbacdf5049782e0f3
PageCount 8
ParticipantIDs wanfang_journals_dndxxb202204018
PublicationCentury 2000
PublicationDate 2022-07-01
PublicationDateYYYYMMDD 2022-07-01
PublicationDate_xml – month: 07
  year: 2022
  text: 2022-07-01
  day: 01
PublicationDecade 2020
PublicationTitle 东南大学学报（自然科学版）
PublicationTitle_FL Journal of Southeast University(Natural Science Edition)
PublicationYear 2022
Publisher 东南大学江苏省城市智能交通重点实验室,南京211189
东南大学交通学院,南京211189%南京莱斯信息技术股份有限公司,南京210000
西藏大学工学院,拉萨850000%东南大学江苏省城市智能交通重点实验室,南京211189
东南大学交通学院,南京211189
Publisher_xml – name: 东南大学交通学院,南京211189
– name: 东南大学交通学院,南京211189%南京莱斯信息技术股份有限公司,南京210000
– name: 东南大学江苏省城市智能交通重点实验室,南京211189
– name: 西藏大学工学院,拉萨850000%东南大学江苏省城市智能交通重点实验室,南京211189
SSID ssib012290226
ssib002258162
ssib036435511
ssib008679709
ssib023167012
ssib000947520
ssib021009659
ssib057620145
ssib000969306
ssib001128997
ssib006563446
ssib002039847
ssib006703054
ssib051368071
ssib004675274
Score 2.3769577
Snippet U491.4; 针对传统强化学习算法在现实场景下训练难以实现的问题,提出一种基于离线强化学习的自适应车辆交叉口生态驾驶控制策略.首先,将车辆油耗与行驶距离作为复合奖励函数...
SourceID wanfang
SourceType Aggregation Database
StartPage 762
Title 基于离线强化学习的交叉口生态驾驶控制
URI https://d.wanfangdata.com.cn/periodical/dndxxb202204018
Volume 52
hasFullText 1
inHoldings 1
isFullTextHit
isPrint
journalDatabaseRights – providerCode: PRVEBS
  databaseName: Inspec with Full Text
  issn: 1001-0505
  databaseCode: ADMLS
  dateStart: 20200501
  customDbUrl:
  isFulltext: true
  dateEnd: 99991231
  titleUrlDefault: https://www.ebsco.com/products/research-databases/inspec-full-text
  omitProxy: false
  ssIdentifier: ssib057620145
  providerName: EBSCOhost
link http://utb.summon.serialssolutions.com/2.0.0/link/0/eLvHCXMwnV3NaxQxFA_9APEiiorf9NAct85MJpnkOLM7SxHrxRZ6K_OR0dMKtoXSk4IHBWkv4sFLBaXSg9eCq-if4mWnS_8L38tkd1MpWl3YIZO8vPzy3sy8vEzmhZB5GXIdqahswR8cFKHzVh4JrxVGRcmyTIPfjFMDSw_E4kp4b5WvTk3_dFYtbW7kC8X2qd-V_I9WIQ_0il_J_oNmx0whA9KgXziChuF4Jh3TlFPVpUlM0xCPMqVpRGNBkwQTkJN0kSZpGxpOZZsqgYm4g2RYS9HYQ2IF1UPLJw4NcZdKZRMxMzQhNpcKXB4hfZpCXUWTdJQQpiilcWRqSchxx76GuaSqbUo7VBkyaKuht5DGCWAFSDhNu4gfuKWSSuhdjEgAKjYXYV3lO7UixIzETa3xNIcVA_aVI_aYuyXIpW3RyK5bAn1PAgSjFFXMkKR0YrwNBMCVnGRrp1GCyZLb5sI_mwhAf74RtGEMCFIDT_pW36hmjnzkCBlqF04ZTTqOCpVZxhKbRITNoXQCVHnTDdVoLsbLosmBWoGLrWHVBvfdt6Js7JdZIcc97ho4Hjg3cuhYq5Eh1PZMnWZTmRLK2FRsYGHcwAIK0UQJtvbzZNTysldubeVIA1bCl9NkNoiECGbIbNxZuv_QGeGHEXc9FoV7c7oRDXFGwJlR8JhyX-yDOZK-cCPUATvHowF3hbkzHsJYuEk5xpt0Ihj6uP2B45EEPiKajPgDDBzheAgMBvTcifDHfSak42GBNx_gi3uz5sJK7hyZt2K9-yehmq8Ie1XWe-QMeJcvkgvWU52Lm8fOJTK1_fgyEfVef9DfGe5_HfZ_1N_69eu39ef9wZf3w3cvBv2P9e6revfD8M3e0bPnxwffjw8Oj3Y-1S8Pr5CVbrrcXmzZrVda6-hxtMqwUh64ZuDUVkWoNTgmmZbwU5pJVlTcE5XQwuOVKoqKiSrPihJycb_KQHsVu0pmek96-hqZA5GUuB14zjIdlqpSYSmyIioY5AWVp6-TOdvPNftoXV_77eq58XeSm-T85K6-RWY2nm7q2-AubOR37CX3C9WixS0
linkProvider EBSCOhost
openUrl ctx_ver=Z39.88-2004&ctx_enc=info%3Aofi%2Fenc%3AUTF-8&rfr_id=info%3Asid%2Fsummon.serialssolutions.com&rft_val_fmt=info%3Aofi%2Ffmt%3Akev%3Amtx%3Ajournal&rft.genre=article&rft.atitle=%E5%9F%BA%E4%BA%8E%E7%A6%BB%E7%BA%BF%E5%BC%BA%E5%8C%96%E5%AD%A6%E4%B9%A0%E7%9A%84%E4%BA%A4%E5%8F%89%E5%8F%A3%E7%94%9F%E6%80%81%E9%A9%BE%E9%A9%B6%E6%8E%A7%E5%88%B6&rft.jtitle=%E4%B8%9C%E5%8D%97%E5%A4%A7%E5%AD%A6%E5%AD%A6%E6%8A%A5%EF%BC%88%E8%87%AA%E7%84%B6%E7%A7%91%E5%AD%A6%E7%89%88%EF%BC%89&rft.au=%E5%BC%A0%E5%81%A5&rft.au=%E5%A7%9C%E5%A4%8F&rft.au=%E5%8F%B2%E6%99%93%E5%AE%87&rft.au=%E7%A8%8B%E5%81%A5&rft.date=2022-07-01&rft.pub=%E4%B8%9C%E5%8D%97%E5%A4%A7%E5%AD%A6%E6%B1%9F%E8%8B%8F%E7%9C%81%E5%9F%8E%E5%B8%82%E6%99%BA%E8%83%BD%E4%BA%A4%E9%80%9A%E9%87%8D%E7%82%B9%E5%AE%9E%E9%AA%8C%E5%AE%A4%2C%E5%8D%97%E4%BA%AC211189&rft.issn=1001-0505&rft.volume=52&rft.issue=4&rft.spage=762&rft.epage=769&rft_id=info:doi/10.3969%2Fj.issn.1001-0505.2022.04.018&rft.externalDocID=dndxxb202204018
thumbnail_s http://utb.summon.serialssolutions.com/2.0.0/image/custom?url=http%3A%2F%2Fwww.wanfangdata.com.cn%2Fimages%2FPeriodicalImages%2Fdndxxb%2Fdndxxb.jpg