基于时空流特征融合的俯视视角下奶牛跛行自动检测方法

• Published in: 智慧农业（中英文） Vol. 6; no. 4; pp. 18 - 28
• Main Authors: 代昕, 王军号, 张翼, 王鑫杰, 李晏兴, 戴百生, 沈维政
• Format: Journal Article
• Language: Chinese
• Published: 中国农业科学院农业信息研究所 30.07.2024; 东北农业大学 电气与信息学院,黑龙江哈尔滨 150030,中国%东北农业大学 电气与信息学院,黑龙江哈尔滨 150030,中国; 黑龙江东方学院 信息工程学院,黑龙江哈尔滨 150086,中国
• Subjects: 注意力机制; 时空融合; 奶牛跛行检测; 深度图像; 视频动作分类; TSM; spatiotemporal fusion; attention mechanism; depth image; dairy cow lameness detection; video action classification
• ISSN: 2096-8094
• DOI: 10.12133/j.smartag.SA202405025

[目的/意义]奶牛跛行检测是规模化奶牛养殖过程中亟待解决的重要问题，现有方法的检测视角主要以侧视为主。然而，侧视视角存在着难以消除的遮挡问题。本研究主要解决侧视视角下存在的遮挡问题。[方法]提出一种基于时空流特征融合的俯视视角下奶牛跛行检测方法。首先，通过分析深度视频流中跛行奶牛在运动过程中的位姿变化，构建空间流特征图像序列。通过分析跛行奶牛行走时躯体前进和左右摇摆的瞬时速度，利用光流捕获奶牛运动的瞬时速度，构建时间流特征图像序列。将空间流与时间流特征图像组合构建时空流融合特征图像序列。其次，利用卷积块注意力模块（Convolutional Block Attention Module，CBAM）改进PP-TSMv2（PaddlePaddle-Temporal Shift Module v2）视频动作分类网络，构建奶牛跛行检测模型Cow-TSM（Cow-Temporal Shift Module）。最后，分别在不同输入模态、不同注意力机制、不同视频动作分类网络和现有方法4个方面对比，进行奶牛跛行实验，以探究所提出方法的优劣性。[结果和讨论]共采集处理了180段奶牛图像序列数据，跛行奶牛与非跛行奶牛视频段数比例为1:1，所提出模型识别精度达到88.7%，模型大小为22 M，离线推理时间为0.046 s。与主流视频动作分类模型TSM、PP-TSM、PP-TSMv2、SlowFast和TimesFormer模型相比，综合表现最好。同时，以时空流融合特征图像作为输入时，识别精度分别比单时间模态与单空间模态分别提升12%与4.1%，证明本研究中模态融合的有效性。通过与通道注意力（Squeeze-and-Excitation，SE）、卷积核注意力（Selective Kernel，SK）、坐标注意力（Coordinate Attention，CA）与CBAM不同注意力机制进行消融实验，证明利用CBAM注意力机制构建奶牛跛行检测模型效果最佳。最后，与现有跛行检测方法进行对比，所提出的方法同时具有较好的性能和实用性。[结论]本研究能够避免侧视视角下检测跛行奶牛时出现的遮挡问题，对于减少奶牛跛行发生率、提高牧场经济效益具有重要意义，符合牧场规模化建设的需求。