基于输出反馈逆强化Q学习的线性二次型最优控制方法

本文针对模型参数未知且状态不可测的线性离散系统的线性二次型最优控制问题,提出了一种数据驱动的基于输出反馈逆强化Q学习的最优控制方法,利用系统的输入输出数据同时确定合适的二次型性能指标权重和最优控制律,使得系统运行轨迹与参考轨迹一致.本文首先提出一个参数矫正方程并与逆最优控制相结合得到一种基于模型的逆强化学习最优控制框架,实现输出反馈控制律参数和性能指标加权项的矫正.在此基础上,本文引入强化Q学习思想提出了数据驱动的输出反馈逆强化Q学习最优控制方法,无需知道系统模型参数,仅利用历史输入输出数据对输出反馈控制律参数和性能指标加权项进行求解.理论分析与仿真实验验证了所提方法的有效性....

Full description

Saved in:
Bibliographic Details
Published in控制理论与应用 Vol. 41; no. 8; pp. 1469 - 1479
Main Authors 刘文, 范家璐, 薛文倩
Format Journal Article
LanguageChinese
Published 东北大学流程工业综合自动化国家重点实验室,辽宁沈阳 110819 01.08.2024
Subjects
输出反馈
data-driven optimal control
Q-learning
逆强化学习
Q学习
inverse reinforcement learning
数据驱动最优控制
output feedback
Online AccessGet full text
ISSN1000-8152
DOI10.7641/CTA.2023.20551

Cover

More Information
Summary:本文针对模型参数未知且状态不可测的线性离散系统的线性二次型最优控制问题,提出了一种数据驱动的基于输出反馈逆强化Q学习的最优控制方法,利用系统的输入输出数据同时确定合适的二次型性能指标权重和最优控制律,使得系统运行轨迹与参考轨迹一致.本文首先提出一个参数矫正方程并与逆最优控制相结合得到一种基于模型的逆强化学习最优控制框架,实现输出反馈控制律参数和性能指标加权项的矫正.在此基础上,本文引入强化Q学习思想提出了数据驱动的输出反馈逆强化Q学习最优控制方法,无需知道系统模型参数,仅利用历史输入输出数据对输出反馈控制律参数和性能指标加权项进行求解.理论分析与仿真实验验证了所提方法的有效性.
ISSN:1000-8152
DOI:10.7641/CTA.2023.20551