基于改进YOLOv8的草莓识别与果梗采摘关键点检测

TP391.4%S24; 为解决草莓采摘机器人工作过程中果梗采摘点定位精度低和遮挡草莓识别困难等问题,该研究提出一种改进后YOLOv8算法与pose关键点检测算法相结合的草莓识别定位方法.通过对YOLOv8进行优化,引入BiFPN(bidirectional feature pyramid network)和 GAM(generalized attention module)模块以强化模型的双向信息流,动态分配特征权重,并专注于小目标特征的提取和强化被遮挡区域特征,旨在提升模型复杂环境中采摘点定位准确率和遮挡识别的预测准确性.试验结果显示,相比于原始模型,经过改进的YOLOv8-pose模型在...

Full description

Saved in:
Bibliographic Details
Published in农业工程学报 Vol. 40; no. 18; pp. 167 - 175
Main Authors 杨震宇, 汪小旵, 祁子涵, 王得志
Format Journal Article
LanguageChinese
Published 南京农业大学工学院,南京 210031%南京农业大学工学院,南京 210031 01.09.2024
江苏省现代农业设施农业技术与装备试验室,南京 210031
Subjects
遮挡
采摘
occlusion
YOLOv8
strawberry
草莓
图像识别
picking
image recognition
Online AccessGet full text
ISSN1002-6819
DOI10.11975/j.issn.1002-6819.202405044

Cover

More Information
Summary:TP391.4%S24; 为解决草莓采摘机器人工作过程中果梗采摘点定位精度低和遮挡草莓识别困难等问题,该研究提出一种改进后YOLOv8算法与pose关键点检测算法相结合的草莓识别定位方法.通过对YOLOv8进行优化,引入BiFPN(bidirectional feature pyramid network)和 GAM(generalized attention module)模块以强化模型的双向信息流,动态分配特征权重,并专注于小目标特征的提取和强化被遮挡区域特征,旨在提升模型复杂环境中采摘点定位准确率和遮挡识别的预测准确性.试验结果显示,相比于原始模型,经过改进的YOLOv8-pose模型在草莓识别准确率(precision,P)、召回率(recall,R)、平均精度(mean average precision,mAP)及关键点平均精度(mean average precision-key point,mAPkp)上分别提高6.01、1.98、6.67和7.85个百分点,基于关键点检测的果梗采摘点在X、Y、Z方向定位误差分别为1.4、1.4和2.2 mm.此外,根据草莓遮挡重叠区域面积对草莓遮挡程度分类,利用不同遮挡程度对模型性能验证,在遮挡情况下改进后YOLOv8-pose,mAPkp比原模型提高9.78个百分点.基于该研究所提出的视觉模型,机器人在田间试验下的采摘成功率为95％,单个草莓的采摘耗时10 s,可为实现机器人精准采摘提供重要的技术支持.
ISSN:1002-6819
DOI:10.11975/j.issn.1002-6819.202405044