跨视图时序对比学习的自监督视频表征算法
TP391.41%TP183; 现有的自监督表征算法主要关注视频帧之间的短期运动特性,但是帧间动作序列的变化幅度较小,而且单视图数据因语义受限影响深度特征表达能力,视频动作中丰富的多视图信息未被充分利用.为此提出基于跨视图语义一致性的时序对比学习算法,自监督学习RGB帧和光流场两种数据中蕴含的动作时序变化特性,主要思路为:设计局部时序对比学习方法,采用不同正负样本划分策略,挖掘同一实例不重叠片段之间的时序相关性和判别可分性,增强细粒度特征表达能力;研究全局对比学习方法,通过跨视图语义协同训练来增加正样本,学习多实例不同视图的语义一致性,提高模型的泛化能力.通过两个下游任务对模型效果进行评估,在...
Saved in:
| Published in | 计算机工程与应用 Vol. 60; no. 18; pp. 158 - 166 |
|---|---|
| Main Authors | , , , , |
| Format | Journal Article |
| Language | Chinese |
| Published |
桂林安维科技有限公司,广西桂林 541010%桂林安维科技有限公司,广西桂林 541010%武汉工程大学计算机科学与工程学院智能机器人湖北省重点实验室,武汉 430205
15.09.2024
广西应用数学中心(桂林电子科技大学),广西 桂林 541004%桂林电子科技大学数学与计算科学学院广西高校数据分析与计算重点实验室,广西桂林 541004 广西应用数学中心(桂林电子科技大学),广西 桂林 541004 桂林电子科技大学数学与计算科学学院广西高校数据分析与计算重点实验室,广西桂林 541004 |
| Subjects | |
| Online Access | Get full text |
| ISSN | 1002-8331 |
| DOI | 10.3778/j.issn.1002-8331.2312-0033 |
Cover
| Abstract | TP391.41%TP183; 现有的自监督表征算法主要关注视频帧之间的短期运动特性,但是帧间动作序列的变化幅度较小,而且单视图数据因语义受限影响深度特征表达能力,视频动作中丰富的多视图信息未被充分利用.为此提出基于跨视图语义一致性的时序对比学习算法,自监督学习RGB帧和光流场两种数据中蕴含的动作时序变化特性,主要思路为:设计局部时序对比学习方法,采用不同正负样本划分策略,挖掘同一实例不重叠片段之间的时序相关性和判别可分性,增强细粒度特征表达能力;研究全局对比学习方法,通过跨视图语义协同训练来增加正样本,学习多实例不同视图的语义一致性,提高模型的泛化能力.通过两个下游任务对模型效果进行评估,在UCF101和HMDB51数据集的实验结果表明,所提方法在动作识别和视频检索任务上,较前沿主流方法平均提升了2～3.5个百分点. |
|---|---|
| AbstractList | TP391.41%TP183; 现有的自监督表征算法主要关注视频帧之间的短期运动特性,但是帧间动作序列的变化幅度较小,而且单视图数据因语义受限影响深度特征表达能力,视频动作中丰富的多视图信息未被充分利用.为此提出基于跨视图语义一致性的时序对比学习算法,自监督学习RGB帧和光流场两种数据中蕴含的动作时序变化特性,主要思路为:设计局部时序对比学习方法,采用不同正负样本划分策略,挖掘同一实例不重叠片段之间的时序相关性和判别可分性,增强细粒度特征表达能力;研究全局对比学习方法,通过跨视图语义协同训练来增加正样本,学习多实例不同视图的语义一致性,提高模型的泛化能力.通过两个下游任务对模型效果进行评估,在UCF101和HMDB51数据集的实验结果表明,所提方法在动作识别和视频检索任务上,较前沿主流方法平均提升了2～3.5个百分点. |
| Abstract_FL | The existing self-supervised representation algorithms mainly focus on the short-term motion characteristics between video frames,but the variation range of the action sequence between frames is small,and the depth feature expression ability of single-view data is affected due to semantic limitations,so the rich multi-view information in video actions is not fully utilized.Therefore,a temporal contrast learning algorithm based on cross-view semantic consistency is proposed to self-supervised learn the action temporal variation characteristics embedded in both RGB frames and optical flow field data.The main ideas are as follows:to design a local temporal contrast learning method,adopt different posi-tive and negative sample division strategies to explore the temporal correlation and discriminative differentiability between non-overlapping segments of the same instance,and enhance the fine-grained feature expression capability;to study the global contrast learning method to increase the positive samples by cross-view semantic co-training,learn the semantic consistency of different views of multiple instances,and improve the generalization ability of the model.The model per-formance is evaluated through two downstream tasks,and the experimental results on UCF101 and HMDB51 datasets show that the proposed method improves on average 2～3.5 percentage points over cutting-edge mainstream methods on action recognition and video retrieval tasks. |
| Author | 徐增敏 卢涛 蒙儒省 王露露 张雪莲 |
| AuthorAffiliation | 桂林电子科技大学数学与计算科学学院广西高校数据分析与计算重点实验室,广西桂林 541004;广西应用数学中心(桂林电子科技大学),广西 桂林 541004%桂林电子科技大学数学与计算科学学院广西高校数据分析与计算重点实验室,广西桂林 541004;广西应用数学中心(桂林电子科技大学),广西 桂林 541004;桂林安维科技有限公司,广西桂林 541010%桂林安维科技有限公司,广西桂林 541010%武汉工程大学计算机科学与工程学院智能机器人湖北省重点实验室,武汉 430205 |
| AuthorAffiliation_xml | – name: 桂林电子科技大学数学与计算科学学院广西高校数据分析与计算重点实验室,广西桂林 541004;广西应用数学中心(桂林电子科技大学),广西 桂林 541004%桂林电子科技大学数学与计算科学学院广西高校数据分析与计算重点实验室,广西桂林 541004;广西应用数学中心(桂林电子科技大学),广西 桂林 541004;桂林安维科技有限公司,广西桂林 541010%桂林安维科技有限公司,广西桂林 541010%武汉工程大学计算机科学与工程学院智能机器人湖北省重点实验室,武汉 430205 |
| Author_FL | ZHANG Xuelian WANG Lulu MENG Ruxing XU Zengmin LU Tao |
| Author_FL_xml | – sequence: 1 fullname: WANG Lulu – sequence: 2 fullname: XU Zengmin – sequence: 3 fullname: ZHANG Xuelian – sequence: 4 fullname: MENG Ruxing – sequence: 5 fullname: LU Tao |
| Author_xml | – sequence: 1 fullname: 王露露 – sequence: 2 fullname: 徐增敏 – sequence: 3 fullname: 张雪莲 – sequence: 4 fullname: 蒙儒省 – sequence: 5 fullname: 卢涛 |
| BookMark | eNo9jctKw0AYRmdRwVr7Eu5cJP6TfzKTLKV4g4IbXZdJMlMaZAoOIlkKokspKAWL4AW0CNqFoNRFn8ZcfAsLiqsPDofzLZGa6RtFyAoFF4UI1lK3Z61xKYDnBIjU9ZB6DgBijdT_6SJpWtuLwKcofIFhnYTVx7h6OstHs2L4nn9e5JNpMbnMXx6_prfl9Wl1_lyOBuXNw9z5vh9Ud-N8dlK-Dou3q2WyoOWBVc2_bZD9zY291rbT3t3aaa23HUuBM0ch0xFPUEmMaRgIUCqiPgIXGjSLOEfOYtCai0QxCFWEHGKQDBIqQhnH2CCrv91jabQ03U7aPzo088dOatNunGWZBx6jAVCGP7K1Yoo |
| ClassificationCodes | TP391.41%TP183 |
| ContentType | Journal Article |
| Copyright | Copyright © Wanfang Data Co. Ltd. All Rights Reserved. |
| Copyright_xml | – notice: Copyright © Wanfang Data Co. Ltd. All Rights Reserved. |
| DBID | 2B. 4A8 92I 93N PSX TCJ |
| DOI | 10.3778/j.issn.1002-8331.2312-0033 |
| DatabaseName | Wanfang Data Journals - Hong Kong WANFANG Data Centre Wanfang Data Journals 万方数据期刊 - 香港版 China Online Journals (COJ) China Online Journals (COJ) |
| DatabaseTitleList | |
| DeliveryMethod | fulltext_linktorsrc |
| Discipline | Engineering |
| DocumentTitle_FL | Cross-View Temporal Contrastive Learning for Self-Supervised Video Representation |
| EndPage | 166 |
| ExternalDocumentID | jsjgcyyy202418014 |
| GrantInformation_xml | – fundername: (广西自然科学基金项目); (国家自然科学基金); (国家自然科学基金); (广西科技基地和人才专项); (广西科技基地和人才专项); (广西重点研发计划项目) funderid: (广西自然科学基金项目); (国家自然科学基金); (国家自然科学基金); (广西科技基地和人才专项); (广西科技基地和人才专项); (广西重点研发计划项目) |
| GroupedDBID | -0Y 2B. 4A8 5XA 5XJ 92H 92I 93N ABJNI ACGFS ALMA_UNASSIGNED_HOLDINGS CCEZO CUBFJ CW9 PSX TCJ TGT U1G U5S |
| ID | FETCH-LOGICAL-s1064-e34fb6d3ea3c19870eeb153067f0f4b66364c0ff67de409eb360c0a40d179acc3 |
| ISSN | 1002-8331 |
| IngestDate | Thu May 29 04:10:55 EDT 2025 |
| IsPeerReviewed | false |
| IsScholarly | false |
| Issue | 18 |
| Keywords | 时序对比学习 自监督学习 局部对比学习 video representation learning temporal contrastive learning 跨视图协同 local contrastive learning self-supervised learning cross-view co-training 视频表征学习 |
| Language | Chinese |
| LinkModel | OpenURL |
| MergedId | FETCHMERGED-LOGICAL-s1064-e34fb6d3ea3c19870eeb153067f0f4b66364c0ff67de409eb360c0a40d179acc3 |
| PageCount | 9 |
| ParticipantIDs | wanfang_journals_jsjgcyyy202418014 |
| PublicationCentury | 2000 |
| PublicationDate | 2024-09-15 |
| PublicationDateYYYYMMDD | 2024-09-15 |
| PublicationDate_xml | – month: 09 year: 2024 text: 2024-09-15 day: 15 |
| PublicationDecade | 2020 |
| PublicationTitle | 计算机工程与应用 |
| PublicationTitle_FL | Computer Engineering and Applications |
| PublicationYear | 2024 |
| Publisher | 桂林安维科技有限公司,广西桂林 541010%桂林安维科技有限公司,广西桂林 541010%武汉工程大学计算机科学与工程学院智能机器人湖北省重点实验室,武汉 430205 广西应用数学中心(桂林电子科技大学),广西 桂林 541004%桂林电子科技大学数学与计算科学学院广西高校数据分析与计算重点实验室,广西桂林 541004 广西应用数学中心(桂林电子科技大学),广西 桂林 541004 桂林电子科技大学数学与计算科学学院广西高校数据分析与计算重点实验室,广西桂林 541004 |
| Publisher_xml | – name: 广西应用数学中心(桂林电子科技大学),广西 桂林 541004%桂林电子科技大学数学与计算科学学院广西高校数据分析与计算重点实验室,广西桂林 541004 – name: 桂林电子科技大学数学与计算科学学院广西高校数据分析与计算重点实验室,广西桂林 541004 – name: 广西应用数学中心(桂林电子科技大学),广西 桂林 541004 – name: 桂林安维科技有限公司,广西桂林 541010%桂林安维科技有限公司,广西桂林 541010%武汉工程大学计算机科学与工程学院智能机器人湖北省重点实验室,武汉 430205 |
| SSID | ssib051375739 ssib001102935 ssj0000561668 ssib023646291 ssib057620132 |
| Score | 1.9905722 |
| Snippet | TP391.41%TP183; 现有的自监督表征算法主要关注视频帧之间的短期运动特性,但是帧间动作序列的变化幅度较小,而且单视图数据因语义受限影响深度特征表达能力,视频动作中丰富... |
| SourceID | wanfang |
| SourceType | Aggregation Database |
| StartPage | 158 |
| Title | 跨视图时序对比学习的自监督视频表征算法 |
| URI | https://d.wanfangdata.com.cn/periodical/jsjgcyyy202418014 |
| Volume | 60 |
| hasFullText | 1 |
| inHoldings | 1 |
| isFullTextHit | |
| isPrint | |
| journalDatabaseRights | – providerCode: PRVEBS databaseName: Inspec with Full Text issn: 1002-8331 databaseCode: ADMLS dateStart: 20200501 customDbUrl: isFulltext: true dateEnd: 99991231 titleUrlDefault: https://www.ebsco.com/products/research-databases/inspec-full-text omitProxy: false ssIdentifier: ssib057620132 providerName: EBSCOhost |
| link | http://utb.summon.serialssolutions.com/2.0.0/link/0/eLvHCXMwzR1Na9RQMNT2ogfxE78p4juVrfl4L--9Y5LNUsQKYgu9lSRNKj2sYNtDexNEj1JQChbBD9AiaA-CUg_9NW53_RfOzMtu0laleuolDJN5851kJrwPy7qRJNz3ZKYansigQSnSpJHKTDbc3M9VnnNV0O78k3f8iWl-a0bMDI3crc1aWl5Kx7PV364r-Z-oAg7iiqtk_yGyA6aAABjiC1eIMFwPFWMWKxZKFigEAsmUz2LBdMjCmMU-05KFhAkDploIBC0WarwFgOaEabIAaDjiA5vFkmkg5shQAeeAMCHTDgFA7NVkwRCXbgHGITUEilZEHMSoAMgKPWZOuOwXwUQf45A6mY5QT-QASEG3QIeQdAMgLg1BtSVeg8EkXETAfaTVxMYdABUJaaZtshmUNg4S4Jc9JBE5QaPJaDvJrXNRTMNgjbTgJIBRl4iZ82D6f09cjlM9zPpRynfyuMOUS0KNwQItVxoZhBAwsgrcit70mQpwBopxCtJolGmUVzAwIqCFfnEJhuCFLXKrIGC_uDHB4aVoM1ccNVVM-kGSOMT9YPRBBkdtqlz9S_IM9K4n9iB5DnI2NGRSYFTUxAcIPBY296Ql0ihiGBDGR1M1PV8qIjXKVECG8OyoJuWlS08cuRiTTmNeqajEgGnotf1-GOMe9FeiVjBQRdFfdVhWFOaEjP6bU9XqA8ecU1CWmo45cGh_FeNJqaiKQQnjAwnj0Iq5DTx8sardBjNqFxYX5rOVlRXMcQd3hDpmjbhQ6NjD1kjQnLx9r-qRoKXQVY-EB0j4brVhlnA8KWS1VbBAJuX2ruWBCT7obZYYl5qZzZxR7Zt_VppWRbaLpD1fK-CnTlkny857NDCv0dPW0Or9M9aJ2n6sZy3d-7bZ-_Cks7Gzu_618_1ZZ2t7d-t559P7H9uvuy8f955-7G6sdV-9A5qfb9d6bzY7O4-6n9d3v7w4Z0234qloolGeLdNYdKALa-QefJf8OS9PvAz_u9o5FK0C_58UdsFT6MN8ntlF4cu5nNs6Tz3fzuyE23NQwSRZ5p23htsP2vkFazQRvkzchEuZw8hCpfCVy7CVErlKdOpctK6Xhs-W347F2QPhunQYosvW8eoddsUaXnq4nF-FnmgpvVZG-RcgxfVe |
| linkProvider | EBSCOhost |
| openUrl | ctx_ver=Z39.88-2004&ctx_enc=info%3Aofi%2Fenc%3AUTF-8&rfr_id=info%3Asid%2Fsummon.serialssolutions.com&rft_val_fmt=info%3Aofi%2Ffmt%3Akev%3Amtx%3Ajournal&rft.genre=article&rft.atitle=%E8%B7%A8%E8%A7%86%E5%9B%BE%E6%97%B6%E5%BA%8F%E5%AF%B9%E6%AF%94%E5%AD%A6%E4%B9%A0%E7%9A%84%E8%87%AA%E7%9B%91%E7%9D%A3%E8%A7%86%E9%A2%91%E8%A1%A8%E5%BE%81%E7%AE%97%E6%B3%95&rft.jtitle=%E8%AE%A1%E7%AE%97%E6%9C%BA%E5%B7%A5%E7%A8%8B%E4%B8%8E%E5%BA%94%E7%94%A8&rft.au=%E7%8E%8B%E9%9C%B2%E9%9C%B2&rft.au=%E5%BE%90%E5%A2%9E%E6%95%8F&rft.au=%E5%BC%A0%E9%9B%AA%E8%8E%B2&rft.au=%E8%92%99%E5%84%92%E7%9C%81&rft.date=2024-09-15&rft.pub=%E6%A1%82%E6%9E%97%E5%AE%89%E7%BB%B4%E7%A7%91%E6%8A%80%E6%9C%89%E9%99%90%E5%85%AC%E5%8F%B8%2C%E5%B9%BF%E8%A5%BF%E6%A1%82%E6%9E%97+541010%25%E6%A1%82%E6%9E%97%E5%AE%89%E7%BB%B4%E7%A7%91%E6%8A%80%E6%9C%89%E9%99%90%E5%85%AC%E5%8F%B8%2C%E5%B9%BF%E8%A5%BF%E6%A1%82%E6%9E%97+541010%25%E6%AD%A6%E6%B1%89%E5%B7%A5%E7%A8%8B%E5%A4%A7%E5%AD%A6%E8%AE%A1%E7%AE%97%E6%9C%BA%E7%A7%91%E5%AD%A6%E4%B8%8E%E5%B7%A5%E7%A8%8B%E5%AD%A6%E9%99%A2%E6%99%BA%E8%83%BD%E6%9C%BA%E5%99%A8%E4%BA%BA%E6%B9%96%E5%8C%97%E7%9C%81%E9%87%8D%E7%82%B9%E5%AE%9E%E9%AA%8C%E5%AE%A4%2C%E6%AD%A6%E6%B1%89+430205&rft.issn=1002-8331&rft.volume=60&rft.issue=18&rft.spage=158&rft.epage=166&rft_id=info:doi/10.3778%2Fj.issn.1002-8331.2312-0033&rft.externalDocID=jsjgcyyy202418014 |
| thumbnail_s | http://utb.summon.serialssolutions.com/2.0.0/image/custom?url=http%3A%2F%2Fwww.wanfangdata.com.cn%2Fimages%2FPeriodicalImages%2Fjsjgcyyy%2Fjsjgcyyy.jpg |