基于强化学习的波动鳍推进水下作业机器人悬停控制

本文针对波动鳍推进水下作业机器人的悬停控制问题开展研究.首先,给出了波动鳍推进水下作业机器人的运动学模型、动力学模型和波动鳍的参数-力映射模型,建立了基于马尔可夫决策过程的悬停控制训练框架.其次,基于模型结构和训练策略,使用强化学习的方法进行网络训练,得到最佳的悬停控制器.最终,在室内水池中完成了波动鳍推进水下作业机器人的悬停控制实验,实验结果验证了所提方法的有效性....

Full description

Saved in:
Bibliographic Details
Published in控制理论与应用 Vol. 39; no. 11; pp. 2092 - 2099
Main Authors 马睿宸, 白雪剑, 王宇, 王睿, 王硕
Format Journal Article
LanguageChinese
Published 中国科学院大学人工智能学院,北京100049%中国科学院自动化研究所复杂系统管理与控制国家重点实验室,北京100190 01.11.2022
中国科学院自动化研究所复杂系统管理与控制国家重点实验室,北京100190%中国科学院自动化研究所复杂系统管理与控制国家重点实验室,北京100190
中国科学院大学,北京100049
Subjects
强化学习
神经网络
悬停控制
波动鳍
水下作业机器人
Online AccessGet full text
ISSN1000-8152
DOI10.7641/CTA.2022.11054

Cover

Abstract 本文针对波动鳍推进水下作业机器人的悬停控制问题开展研究.首先,给出了波动鳍推进水下作业机器人的运动学模型、动力学模型和波动鳍的参数-力映射模型,建立了基于马尔可夫决策过程的悬停控制训练框架.其次,基于模型结构和训练策略,使用强化学习的方法进行网络训练,得到最佳的悬停控制器.最终,在室内水池中完成了波动鳍推进水下作业机器人的悬停控制实验,实验结果验证了所提方法的有效性.
AbstractList 本文针对波动鳍推进水下作业机器人的悬停控制问题开展研究.首先,给出了波动鳍推进水下作业机器人的运动学模型、动力学模型和波动鳍的参数-力映射模型,建立了基于马尔可夫决策过程的悬停控制训练框架.其次,基于模型结构和训练策略,使用强化学习的方法进行网络训练,得到最佳的悬停控制器.最终,在室内水池中完成了波动鳍推进水下作业机器人的悬停控制实验,实验结果验证了所提方法的有效性.
Author 王宇
王睿
白雪剑
王硕
马睿宸
AuthorAffiliation 中国科学院大学,北京100049;中国科学院自动化研究所复杂系统管理与控制国家重点实验室,北京100190%中国科学院自动化研究所复杂系统管理与控制国家重点实验室,北京100190;中国科学院大学人工智能学院,北京100049%中国科学院自动化研究所复杂系统管理与控制国家重点实验室,北京100190
AuthorAffiliation_xml – name: 中国科学院大学,北京100049;中国科学院自动化研究所复杂系统管理与控制国家重点实验室,北京100190%中国科学院自动化研究所复杂系统管理与控制国家重点实验室,北京100190;中国科学院大学人工智能学院,北京100049%中国科学院自动化研究所复杂系统管理与控制国家重点实验室,北京100190
Author_FL WANG Shuo
BAI Xue-jian
WANG Rui
WANG Yu
MA Rui-chen
Author_FL_xml – sequence: 1
  fullname: MA Rui-chen
– sequence: 2
  fullname: BAI Xue-jian
– sequence: 3
  fullname: WANG Yu
– sequence: 4
  fullname: WANG Rui
– sequence: 5
  fullname: WANG Shuo
Author_xml – sequence: 1
  fullname: 马睿宸
– sequence: 2
  fullname: 白雪剑
– sequence: 3
  fullname: 王宇
– sequence: 4
  fullname: 王睿
– sequence: 5
  fullname: 王硕
BookMark eNotjz1Lw0Ach2-oYK1d_Qwuiff_55K7jCXUFyi41Llc4kXUkIJBJG6Kg_jSUbAGFAftoCBUpAbFL5OL-i2M6PQMP3h-PDOkFvdjRcgcUJM7DBa8bstEimgCUJvVSB0opYYAG6dJM0k2fUqrBbkNddLW13mRD_Rbrs8u9ONd8XrzOTwqx7f6ZPQ9Pi8Ho6-Pq_LpuZicFu9ZMRmWWa4vR0Wel4cP-iArB_f6-GWWTIUySlTznw2yttjuestGZ3VpxWt1jASohQZn0hYC0A58JYFy5vvK5Qq5I0DIkILAUAVCMJepgCNzbaDAOSpLrmPghFaDzP9592Qcynijt9Xf3Ymrx972fhSlafqbXbUBWj9thWbs
ContentType Journal Article
Copyright Copyright © Wanfang Data Co. Ltd. All Rights Reserved.
Copyright_xml – notice: Copyright © Wanfang Data Co. Ltd. All Rights Reserved.
DBID 2B.
4A8
92I
93N
PSX
TCJ
DOI 10.7641/CTA.2022.11054
DatabaseName Wanfang Data Journals - Hong Kong
WANFANG Data Centre
Wanfang Data Journals
万方数据期刊 - 香港版
China Online Journals (COJ)
China Online Journals (COJ)
DatabaseTitleList
DeliveryMethod fulltext_linktorsrc
Discipline Engineering
DocumentTitle_FL Hovering control of an underwater vehicle-manipulator system propelled by undulatory fins via reinforcement learning
EndPage 2099
ExternalDocumentID kzllyyy202211012
GrantInformation_xml – fundername: (国家自然科学基金); (国家自然科学基金); (国家自然科学基金); (国家自然科学基金); (国家自然科学基金); (中国科学院国际合作局对外合作重点项目)
  funderid: (国家自然科学基金); (国家自然科学基金); (国家自然科学基金); (国家自然科学基金); (国家自然科学基金); (中国科学院国际合作局对外合作重点项目)
GroupedDBID -01
-0Y
2B.
4A8
5XA
5XJ
92H
92I
93N
ABJNI
ACGFS
ALMA_UNASSIGNED_HOLDINGS
CCEZO
CCVFK
CUBFJ
CW9
PSX
TCJ
TGT
U1G
U5S
UY8
ID FETCH-LOGICAL-s1032-74a588125cbea1074bbe97e276818af0182fec88494ec72495101772e3ad2c6f3
ISSN 1000-8152
IngestDate Thu May 29 04:08:30 EDT 2025
IsPeerReviewed true
IsScholarly true
Issue 11
Keywords 强化学习
神经网络
悬停控制
波动鳍
水下作业机器人
Language Chinese
LinkModel OpenURL
MergedId FETCHMERGED-LOGICAL-s1032-74a588125cbea1074bbe97e276818af0182fec88494ec72495101772e3ad2c6f3
PageCount 8
ParticipantIDs wanfang_journals_kzllyyy202211012
PublicationCentury 2000
PublicationDate 2022-11-01
PublicationDateYYYYMMDD 2022-11-01
PublicationDate_xml – month: 11
  year: 2022
  text: 2022-11-01
  day: 01
PublicationDecade 2020
PublicationTitle 控制理论与应用
PublicationTitle_FL Control Theory & Applications
PublicationYear 2022
Publisher 中国科学院大学人工智能学院,北京100049%中国科学院自动化研究所复杂系统管理与控制国家重点实验室,北京100190
中国科学院自动化研究所复杂系统管理与控制国家重点实验室,北京100190%中国科学院自动化研究所复杂系统管理与控制国家重点实验室,北京100190
中国科学院大学,北京100049
Publisher_xml – name: 中国科学院大学,北京100049
– name: 中国科学院自动化研究所复杂系统管理与控制国家重点实验室,北京100190%中国科学院自动化研究所复杂系统管理与控制国家重点实验室,北京100190
– name: 中国科学院大学人工智能学院,北京100049%中国科学院自动化研究所复杂系统管理与控制国家重点实验室,北京100190
SSID ssib001102751
ssib002258297
ssib023646306
ssib057620041
ssib051372463
ssj0042201
ssib023167526
Score 2.3913713
Snippet 本文针对波动鳍推进水下作业机器人的悬停控制问题开展研究.首先,给出了波动鳍推进水下作业机器人的运动学模型、动力学模型和波动鳍的参数-力映射模型,建立了基于马尔可夫决...
SourceID wanfang
SourceType Aggregation Database
StartPage 2092
Title 基于强化学习的波动鳍推进水下作业机器人悬停控制
URI https://d.wanfangdata.com.cn/periodical/kzllyyy202211012
Volume 39
hasFullText 1
inHoldings 1
isFullTextHit
isPrint
journalDatabaseRights – providerCode: PRVEBS
  databaseName: Inspec with Full Text
  issn: 1000-8152
  databaseCode: ADMLS
  dateStart: 20170701
  customDbUrl:
  isFulltext: true
  dateEnd: 99991231
  titleUrlDefault: https://www.ebsco.com/products/research-databases/inspec-full-text
  omitProxy: false
  ssIdentifier: ssib057620041
  providerName: EBSCOhost
link http://utb.summon.serialssolutions.com/2.0.0/link/0/eLvHCXMwnR1Na9RANNTtRQ_iJ35TwTluTSaTZOY4yaYUsV5sobeySRMFywq2PbQ3xYP40aNgLSgetAcFoSLtovhnNqv-C997meymH0L1ErJv3rxvMu8tM28s6xp1EZdp3nRTSN-EneTNJMnz5ryfOSIXWSBob87ULX9yRtyY9WZHGju1XUvLS8l4unrguZL_8SrAwK94SvYfPDsgCgB4B__CEzwMz0P5mMUeUxMs1CwW-JQxQsKIIB6TEVM-vugW0z7hKKZtFgdMAbJgsc9Cl2lOyJppyWKFENnCIaCGEMnCCaZCQrZZKIiOZDKklxZTkYEATcBRFXelaDoJFtKQ5ExHxMuhWSWLgCDAxa8nyvtHSWybSR9F0nGltay01kwJwhHAt4ojVEgrYgsjLVQF7QGzaygBygqaAC7oqUvbwbtTRwEuqDJNHi7etRFDv_43ClTgzq6_UYzE4A80UEhMA1RSOTU_KbIdeUULY4KhC7WxbwgTPbK4IggYwiWC--jwqIqGwFDQkUNVG-PeP4oEXILKRGXEDOIswNgqfQAmR4f5aEZpG0XKqAIjQRwADsRZSGaDJwQxzgJ_OzU3D7y7PxQGopbOJAlBMEnCA30I9HJIxRQCGoUsISDJXwzilFfKmjUamyFIx9u1iJcdsaqPlVNfku3yskWT3uFR8YNSh8AXmDpE03ocwwOPx5Tdzfe0Y7-3urCwsrKCOA72xjtijfLA93nDGtWtqZu3h7WIgzsCarkx9_AYe_WbYwsKb1j74EUOvjvc8uA5bsBrV1V4kLVgc7wqzRSc093uA2uUHWlRjeu7laDjiJ283blTy5ynT1jHTck7psvv10lrZPXuKetYrRHqaSsu3nR73bXiW7d4_rL49L638_bn-uP-1rvi6ebvrRf9tc1fP173P3_pbT_rfd_oba_3N7rFq81et9t_9LF4uNFf-1A8-XrGmpmIp6PJprngpbmIfTybgWh7EioML02yNu4MT5JMBRnYE8qIdm47kudZKqVQIkvBGooSiIBnbnuep37unrUanfud7Jw1luR20s6VP88VFCy8rbIESz1YezLIMqQ6b101RpgzH_DFub2uvHAInIvW0eHX45LVWHqwnF2GsmQpuWIC4A-yleDy
linkProvider EBSCOhost
openUrl ctx_ver=Z39.88-2004&ctx_enc=info%3Aofi%2Fenc%3AUTF-8&rfr_id=info%3Asid%2Fsummon.serialssolutions.com&rft_val_fmt=info%3Aofi%2Ffmt%3Akev%3Amtx%3Ajournal&rft.genre=article&rft.atitle=%E5%9F%BA%E4%BA%8E%E5%BC%BA%E5%8C%96%E5%AD%A6%E4%B9%A0%E7%9A%84%E6%B3%A2%E5%8A%A8%E9%B3%8D%E6%8E%A8%E8%BF%9B%E6%B0%B4%E4%B8%8B%E4%BD%9C%E4%B8%9A%E6%9C%BA%E5%99%A8%E4%BA%BA%E6%82%AC%E5%81%9C%E6%8E%A7%E5%88%B6&rft.jtitle=%E6%8E%A7%E5%88%B6%E7%90%86%E8%AE%BA%E4%B8%8E%E5%BA%94%E7%94%A8&rft.au=%E9%A9%AC%E7%9D%BF%E5%AE%B8&rft.au=%E7%99%BD%E9%9B%AA%E5%89%91&rft.au=%E7%8E%8B%E5%AE%87&rft.au=%E7%8E%8B%E7%9D%BF&rft.date=2022-11-01&rft.pub=%E4%B8%AD%E5%9B%BD%E7%A7%91%E5%AD%A6%E9%99%A2%E5%A4%A7%E5%AD%A6%E4%BA%BA%E5%B7%A5%E6%99%BA%E8%83%BD%E5%AD%A6%E9%99%A2%2C%E5%8C%97%E4%BA%AC100049%25%E4%B8%AD%E5%9B%BD%E7%A7%91%E5%AD%A6%E9%99%A2%E8%87%AA%E5%8A%A8%E5%8C%96%E7%A0%94%E7%A9%B6%E6%89%80%E5%A4%8D%E6%9D%82%E7%B3%BB%E7%BB%9F%E7%AE%A1%E7%90%86%E4%B8%8E%E6%8E%A7%E5%88%B6%E5%9B%BD%E5%AE%B6%E9%87%8D%E7%82%B9%E5%AE%9E%E9%AA%8C%E5%AE%A4%2C%E5%8C%97%E4%BA%AC100190&rft.issn=1000-8152&rft.volume=39&rft.issue=11&rft.spage=2092&rft.epage=2099&rft_id=info:doi/10.7641%2FCTA.2022.11054&rft.externalDocID=kzllyyy202211012
thumbnail_s http://utb.summon.serialssolutions.com/2.0.0/image/custom?url=http%3A%2F%2Fwww.wanfangdata.com.cn%2Fimages%2FPeriodicalImages%2Fkzllyyy%2Fkzllyyy.jpg