基于RGB-D信息融合和目标检测的番茄串采摘点识别定位方法

TP391.4; 采摘点的识别与定位是智能采摘的关键技术,也是实现高效、适时、无损采摘的重要保证.针对复杂背景下番茄串采摘点识别定位问题,提出基于RGB-D信息融合和目标检测的番茄串采摘点识别定位方法.通过YOLOv4目标检测算法和番茄串与对应果梗的连通关系,快速识别番茄串和可采摘果梗的感兴趣区域(Region of Interest,ROI);融合RGB-D图像中的深度信息和颜色特征识别采摘点,通过深度分割算法、形态学操作、K-means聚类算法和细化算法提取果梗图像,得到采摘点的图像坐标;匹配果梗深度图和彩色图信息,得到采摘点在相机坐标系下的精确坐标;引导机器人完成采摘任务.研究和大量现场...

Full description

Saved in:
Bibliographic Details
Published in农业工程学报 Vol. 37; no. 18; pp. 143 - 152
Main Authors 张勤, 陈建敏, 李彬, 徐灿
Format Journal Article
LanguageChinese
Published 华南理工大学机械与汽车工程学院,广州510641%华南理工大学自动化科学与工程学院,广州510641%广东省现代农业装备研究所,广州510630 15.09.2021
Subjects
图像识别;对象识别;提取;番茄串;RGB-D图像;信息融合;目标检测;采摘点
Online AccessGet full text
ISSN1002-6819
DOI10.11975/j.issn.1002-6819.2021.18.017

Cover

More Information
Summary:TP391.4; 采摘点的识别与定位是智能采摘的关键技术,也是实现高效、适时、无损采摘的重要保证.针对复杂背景下番茄串采摘点识别定位问题,提出基于RGB-D信息融合和目标检测的番茄串采摘点识别定位方法.通过YOLOv4目标检测算法和番茄串与对应果梗的连通关系,快速识别番茄串和可采摘果梗的感兴趣区域(Region of Interest,ROI);融合RGB-D图像中的深度信息和颜色特征识别采摘点,通过深度分割算法、形态学操作、K-means聚类算法和细化算法提取果梗图像,得到采摘点的图像坐标;匹配果梗深度图和彩色图信息,得到采摘点在相机坐标系下的精确坐标;引导机器人完成采摘任务.研究和大量现场试验结果表明,该方法可在复杂近色背景下,实现番茄串采摘点识别定位,单帧图像平均识别时间为54 ms,采摘点识别成功率为93.83％,采摘点深度误差±3 mm,满足自动采摘实时性要求.
ISSN:1002-6819
DOI:10.11975/j.issn.1002-6819.2021.18.017