基于离线强化学习的交叉口生态驾驶控制

U491.4; 针对传统强化学习算法在现实场景下训练难以实现的问题,提出一种基于离线强化学习的自适应车辆交叉口生态驾驶控制策略.首先,将车辆油耗与行驶距离作为复合奖励函数的一部分,构造了V2 I(vehicle-to-infrastructure)下的车辆交叉口马尔可夫决策过程.通过在SUMO仿真软件中利用GLOSA系统收集少量训练数据,基于BCQ(batch-constrained deep Q-learning)算法进行离线训练,解决了离线数据与真实场景下分布偏移的问题.将模型部署在仿真环境,实验结果表明,在单交叉口与多交叉口情景,几乎不牺牲车辆机动性的前提下,能耗经济性可以分别提升25....

Full description

Saved in:
Bibliographic Details
Published in东南大学学报（自然科学版） Vol. 52; no. 4; pp. 762 - 769
Main Authors 张健, 姜夏, 史晓宇, 程健, 郑岳标
Format Journal Article
LanguageChinese
Published 东南大学江苏省城市智能交通重点实验室,南京211189 01.07.2022
东南大学交通学院,南京211189%南京莱斯信息技术股份有限公司,南京210000
西藏大学工学院,拉萨850000%东南大学江苏省城市智能交通重点实验室,南京211189
东南大学交通学院,南京211189
Subjects
信号交叉口
生态驾驶
智能交通系统
离线强化学习
Online AccessGet full text
ISSN1001-0505
DOI10.3969/j.issn.1001-0505.2022.04.018

Cover

More Information
Summary:U491.4; 针对传统强化学习算法在现实场景下训练难以实现的问题,提出一种基于离线强化学习的自适应车辆交叉口生态驾驶控制策略.首先,将车辆油耗与行驶距离作为复合奖励函数的一部分,构造了V2 I(vehicle-to-infrastructure)下的车辆交叉口马尔可夫决策过程.通过在SUMO仿真软件中利用GLOSA系统收集少量训练数据,基于BCQ(batch-constrained deep Q-learning)算法进行离线训练,解决了离线数据与真实场景下分布偏移的问题.将模型部署在仿真环境,实验结果表明,在单交叉口与多交叉口情景,几乎不牺牲车辆机动性的前提下,能耗经济性可以分别提升25.14％和11.49％.此外,对不同V2I通信距离进行分析,发现随着通信距离的增加,算法控制效果与稳定性均有所提升,为工程实践提供了借鉴.
ISSN:1001-0505
DOI:10.3969/j.issn.1001-0505.2022.04.018