智能人机交互中第一视角手势表达的一次性学习分类识别

在智能人机交互中,以交互人的视角为第一视角的手势表达发挥着重要作用,而面向第一视角的手势识别则成为最重要的技术环节.本文通过深度卷积神经网络的级联组合,研究复杂应用场景中第一视角下的一次性学习手势识别(One-shot learning hand gesture recognition,OSLHGR)算法.考虑到实际应用的便捷性和适用性,运用改进的轻量级SSD(Single shot multibox detector)目标检测网络实现第一视角下手势目标的快速精确检测;进而,以改进的轻量级U-Net网络为主要工具进行复杂背景下手势目标的像素级高效精准分割.在此基础上,以组合式3D深度神经网络为...

Full description

Saved in:
Bibliographic Details
Published in自动化学报 Vol. 47; no. 6; pp. 1284 - 1301
Main Authors 鹿智, 秦世引, 李连伟, 张鼎豪
Format Journal Article
LanguageChinese
Published 北京航空航天大学自动化科学与电气工程学院 北京100191%北京航空航天大学自动化科学与电气工程学院 北京100191 01.06.2021
东莞理工学院电子工程与智能化学院 东莞523808%北京航空航天大学电子信息工程学院 北京100191
Subjects
智能人机交互
第一视角
深度卷积神经网络
一次性学习手势识别
目标检测与分割
Online AccessGet full text
ISSN0254-4156
DOI10.16383/j.aas.c190754

Cover

More Information
Summary:在智能人机交互中,以交互人的视角为第一视角的手势表达发挥着重要作用,而面向第一视角的手势识别则成为最重要的技术环节.本文通过深度卷积神经网络的级联组合,研究复杂应用场景中第一视角下的一次性学习手势识别(One-shot learning hand gesture recognition,OSLHGR)算法.考虑到实际应用的便捷性和适用性,运用改进的轻量级SSD(Single shot multibox detector)目标检测网络实现第一视角下手势目标的快速精确检测;进而,以改进的轻量级U-Net网络为主要工具进行复杂背景下手势目标的像素级高效精准分割.在此基础上,以组合式3D深度神经网络为工具,研究提出了一种第一视角下的一次性学习手势动作识别的网络化算法.在Pascal VOC 2012数据集和SoftKinetic DS325采集的手势数据集上进行的一系列实验测试结果表明,本文所提出的网络化算法在手势目标检测与分割精度、分类识别准确率和实时性等方面都有显著的优势,可为在复杂应用环境下实现便捷式高性能智能人机交互提供可靠的技术支持.
ISSN:0254-4156
DOI:10.16383/j.aas.c190754