三维卷积与Transformer支持下联合空谱特征的高光谱影像分类

TP751.1; 由于CNN对局部特征提取能力强,目前仍是高光谱影像处理和分析中的主流深度模型,但是CNN感受野有限,无法建立长距离依赖关系,学习全局语义信息受限.Transformer的自注意力机制可以对输入序列中的每个位置进行注意力计算,从而能有效获取全局上下文信息.如何实现CNN和Transformer的技术耦合并充分利用空间信息和光谱信息进行高光谱遥感影像分类是一个重要的待研问题.鉴于此,提出一种新的基于三维卷积和Transformer的高光谱遥感影像分类方法,尝试联合空谱特征实现解译能力的提升.使用主成分分析方法对高光谱遥感影像沿垂直方向降维;用非负矩阵分解算法对降维后遥感影像沿水平...

Full description

Saved in:
Bibliographic Details
Published in计算机工程与应用 Vol. 61; no. 2; pp. 259 - 272
Main Authors 何光, 吴田军
Format Journal Article
LanguageChinese
Published 长安大学 理学院,西安 710064%长安大学 土地工程学院,西安 710064 15.01.2025
Subjects
空谱联合
特征融合
三维卷积
Transformer
feature fusion
3D convolution
高光谱遥感影像分类
nonnegative matrix factorization
非负矩阵分解
spatial spectral combination
hyperspectral remote sensing image classification
Online AccessGet full text
ISSN1002-8331
DOI10.3778/j.issn.1002-8331.2308-0401

Cover

More Information
Summary:TP751.1; 由于CNN对局部特征提取能力强,目前仍是高光谱影像处理和分析中的主流深度模型,但是CNN感受野有限,无法建立长距离依赖关系,学习全局语义信息受限.Transformer的自注意力机制可以对输入序列中的每个位置进行注意力计算,从而能有效获取全局上下文信息.如何实现CNN和Transformer的技术耦合并充分利用空间信息和光谱信息进行高光谱遥感影像分类是一个重要的待研问题.鉴于此,提出一种新的基于三维卷积和Transformer的高光谱遥感影像分类方法,尝试联合空谱特征实现解译能力的提升.使用主成分分析方法对高光谱遥感影像沿垂直方向降维;用非负矩阵分解算法对降维后遥感影像沿水平方向进行空间特征提取,将两种工具处理后遥感影像进行拼接,以充分保留信息;再用三维卷积核对拼接后遥感影像进行空间特征和光谱特征的综合提取;用Transformer的注意力机制对提取空间信息和光谱信息的遥感影像序列建立长距离依赖关系并使用多层感知机完成分类任务.实验表明,所提方法在WHU-Hi龙口、汉川、洪湖以及雄安新区马蹄湾村数据集上均表现出比对比方法更优异的分类性能,表明该方法具有一定的泛化性和稳健性.
ISSN:1002-8331
DOI:10.3778/j.issn.1002-8331.2308-0401