一种加速时间差分算法收敛的方法

时间差分算法(Temporal difference methods,TD)是一类模型无关的强化学习算法.该算法拥有较低的方差和可以在线(On-line)学习的优点,得到了广泛的应用.但对于一种给定的TD算法,往往只能通过调整步长参数或其他超参数来加速收敛,这也就造成了加速TD算法收敛的方法匮乏.针对此问题提出了一种利用蒙特卡洛算法(Monte Carlo methods,MC)来加速TD算法收敛的方法(Accelerate TD by MC,ATDMC).该方法不仅可以适用于绝大部分的TD算法,而且不需要改变在线学习的方式.为了证明方法的有效性,分别在同策略(On-policy)评估、异策略...

Full description

Saved in:
Bibliographic Details
Published in自动化学报 Vol. 47; no. 7; pp. 1679 - 1688
Main Authors 何斌, 刘全, 张琳琳, 时圣苗, 陈红名, 闫岩
Format Journal Article
LanguageChinese
Published 苏州大学计算机科学与技术学院 苏州215006%苏州大学计算机科学与技术学院 苏州215006 01.07.2021
苏州大学江苏省计算机信息处理技术重点实验室 苏州215006
吉林大学符号计算与知识工程教育部重点实验室 长春130012
软件新技术与产业化协同创新中心 南京210000
Subjects
蒙特卡罗算法
强化学习
加速收敛
时间差分算法
Online AccessGet full text
ISSN0254-4156
DOI10.16383/j.aas.c190140

Cover

More Information
Summary:时间差分算法(Temporal difference methods,TD)是一类模型无关的强化学习算法.该算法拥有较低的方差和可以在线(On-line)学习的优点,得到了广泛的应用.但对于一种给定的TD算法,往往只能通过调整步长参数或其他超参数来加速收敛,这也就造成了加速TD算法收敛的方法匮乏.针对此问题提出了一种利用蒙特卡洛算法(Monte Carlo methods,MC)来加速TD算法收敛的方法(Accelerate TD by MC,ATDMC).该方法不仅可以适用于绝大部分的TD算法,而且不需要改变在线学习的方式.为了证明方法的有效性,分别在同策略(On-policy)评估、异策略(Off-policy)评估和控制(Control)三个方面进行了实验.实验结果表明ATDMC方法可以有效地加速各类TD算法.
ISSN:0254-4156
DOI:10.16383/j.aas.c190140