骨架数据增强和双重最近邻检索自监督动作识别

• Published in: 计算机科学 Vol. 50; no. 11; pp. 97 - 106
• Main Authors: 吴雨珊, 徐增敏, 张雪莲, 王涛
• Format: Journal Article
• Language: Chinese
• Published: 桂林电子科技大学数学与计算科学学院广西高校数据分析与计算重点实验室 广西桂林 541004 2023; 广西应用数学中心(桂林电子科技大学)广西桂林 541002%桂林电子科技大学建筑与交通工程学院广西智慧交通重点实验室 广西桂林 541004
• Subjects: Action recognition; 人体骨架; 动作识别; 数据增强; Nearest neighbor retrieval; Contrastive learning; Human skeleton; Data augmentation; 对比学习; 最近邻检索
• ISSN: 1002-137X
• DOI: 10.11896/jsjkx.230500158

TP391.41%TP183; 传统基于骨架数据的自监督方法常将某一样本的不同增强作为正例,将其余样本均视为负例,这使得正负样本的比例严重失衡,限制了相同语义信息的样本发挥作用.针对上述问题,提出了一种正样本不受数据增强限制的双重最近邻检索动作识别算法DNNCLR.首先,基于人体关节的物理连接设计了一个新的关节级空间数据增强,即Bodypart增强,对输入的骨架序列用正态分布数组随机替换,以获得高级语义嵌入;其次,为避免正样本受数据增强的限制,提出了一种更合理的双重最近邻检索(DNN)正样本扩充策略,进一步提出了双重最近邻检索对比损失DNN Loss.具体为利用支撑集进行全局检索,将正样本集的寻找范围扩展到普通数据增强无法覆盖的新数据点;而负样本集中存在被误判的正样本,其是来自不同视频但语义信息相同的骨架样本.为此,再一次利用最近邻检索,从负样本集中寻找这种潜在的正例,二次扩展正样本集,并进一步提出双重最近邻检索对比损失,迫使模型学习更多的一般特征表示,使得模型优化更加合理.最后,将DNNCLR算法应用在AimCLR模型上,得到AimDNNCLR模型,并在NTU-RGB+D数据集上对该模型进行了线性评估,与前沿模型相比,所提方法在精度上平均提升了3.6％.