首页|融合ConvLSTM和多注意力机制网络的高光谱图像分类

融合ConvLSTM和多注意力机制网络的高光谱图像分类

扫码查看
近年来,基于深度学习的模型在高光谱图像(HSI)分类方面效果显著.针对小样本数据基于深度学习的高光谱图像分类方法分类精度不高的问题,提出一种融合卷积长短期记忆(ConvLSTM)和多注意力机制网络的高光谱图像分类方法.该方法分三个分支:光谱分支、空间X分支和空间Y分支分别提取光谱特征、空间X特征和空间Y特征,并将三个方向的特征融合进行高光谱图像分类.由于 ConvLSTM在学习有价值的特征和对光谱数据中的长期依赖关系建模方面表现出良好的性能,所以在光谱分支中用了 3 个隐藏层、卷积核大小为 3×3、通道分别为 150、100 和 60 提取光谱信息.在空间X分支和空间Y分支,采用基于DenseNet和 3D-CNN的Dense空间X块和Dense空间Y块分别提取空间X 特征和空间Y特征.为了增强特征提取,在这三个分支中还分别引入了其特征方向的注意力机制,针对信息丰富的光谱波段设计了光谱注意块,信息丰富的像素点分别设计了空间X和空间Y注意块.在三个公开的高光谱数据集上进行了实验,即 Indian Pines(IP)、Pavia University(UP)和Salinas Valley(SV)数据集;并对比了其他五种方法:基于RBF径向核的支持向量机模型(SVM)、更深更广的卷积神经网络模型(CDCNN)、快速密集光谱-空间卷积网络模型(FDSSC)、空谱残差网络模型(SSRN)、双分支双注意力机制网络模型(DBDA).实验中,IP 数据集上训练样本和验证样本的大小设为总样本的 3%,UP 和 SV数据集上训练样本和验证样本的大小设为总样本的 0.5%.该方法和所有基于深度学习的方法,批处理大小均设置为 16,优化器设为 Adam,学习率设置为0.000 5,并动态调整学习率.由于 SVM直接利用光谱信息进行分类,输入样本块像素大小为1×1,其他基于深度学习方法的输入样本块像素均设置为 9×9.实验结果表明,该方法能充分利用高光谱图像的光谱和空间特征,在 OA、AA、KAPPA等评价标准上均获得了更好的效果,其中,该方法的 OA指标比次优的算法平均提高 0.12%~2.04%.
Fusion of ConvLSTM and Multi-Attention Mechanism Network for Hyperspectral Image Classification

Hyperspectral image classificationDeep learningConvLSTMConvolutional neural networkAttention mechanism

唐婷、潘新、罗小玲、郜晓晶

展开 >

内蒙古农业大学计算机与信息工程学院,内蒙古 呼和浩特 010018

高光谱图像分类 深度学习 ConvLSTM 卷积神经网络 注意力机制

国家自然科学基金内蒙古自治区高等学校科研项目内蒙古自治区高等学校科研项目

61962048NJZY21492NJZZ22502

2023

光谱学与光谱分析
中国光学学会

光谱学与光谱分析

CSTPCDCSCD北大核心
影响因子:0.897
ISSN:1000-0593
年,卷(期):2023.43(8)
  • 16