基于多尺度几何感知Transformer的植物点云补全网络

S126; 对植物幼苗进行三维重建,常存在叶片间的遮挡、摄像头视野限制等因素导致植物幼苗点云出现缺失的情况,影响了植物表型分析的准确度.为了能获得完整的植物点云,提出了基于多尺度几何感知Transformer(Multi-Scale Geometry-Aware Point Transformer,MGA-PT)的植物点云补全网络.该网络首先通过降采样特征提取模块对原始点云进行邻域特征提取;然后利用Transformer提取语义信息,引入多尺度几何感知模块提取不同尺度下的几何信息,加强对植株不同器官的特征提取能力;最后使用双路稠密点云生成模块分别对输入部分和预测部分进行细粒度生成,避免输入点云...

Full description

Saved in:
Bibliographic Details
Published in农业工程学报 Vol. 38; no. 4; pp. 198 - 205
Main Authors 曾安, 彭杰威, 刘畅, 潘丹, 蒋艳荣, 张小波
Format Journal Article
LanguageChinese
Published 广东工业大学计算机学院,广州 510006%广东技术师范大学电子与信息学院,广州 510665%广东工业大学自动化学院,广州 510006 15.02.2022
Subjects
三维图形;特征提取;计算机视觉;深度学习;点云补全;植物建模
Online AccessGet full text
ISSN1002-6819
DOI10.11975/j.issn.1002-6819.2022.04.023

Cover

More Information
Summary:S126; 对植物幼苗进行三维重建,常存在叶片间的遮挡、摄像头视野限制等因素导致植物幼苗点云出现缺失的情况,影响了植物表型分析的准确度.为了能获得完整的植物点云,提出了基于多尺度几何感知Transformer(Multi-Scale Geometry-Aware Point Transformer,MGA-PT)的植物点云补全网络.该网络首先通过降采样特征提取模块对原始点云进行邻域特征提取;然后利用Transformer提取语义信息,引入多尺度几何感知模块提取不同尺度下的几何信息,加强对植株不同器官的特征提取能力;最后使用双路稠密点云生成模块分别对输入部分和预测部分进行细粒度生成,避免输入点云特征的丢失,保证稠密点云贴近实际分布.试验使用基于运动恢复结构的方法对植物幼苗进行三维重建,通过旋转与固定视点缺失构建数据集.试验结果表明,该补全网络表现出色,比目前主流的补全网络更优,对植株数据集补全结果的倒角距离为0.79×10-4 cm,地面移动距离为0.11 cm,F1分数为70.77％,且对不同形态、不同比例的缺失均能补全,体现网络具有稳定性与健壮性.该网络对叶类植物补全效果好,为植物幼苗点云补全提供了新思路.
ISSN:1002-6819
DOI:10.11975/j.issn.1002-6819.2022.04.023