一种光谱信息指导的双模态目标检测方法

摘要: 本发明涉及图像处理及计算机视觉中的目标检测,特别涉及一种光谱信息指导的双模态目标检测方法。背景技术:1、目标检测技术能够从图像中识别目标类别并确定目标所在位置,...
一种光谱信息指导的双模态目标检测方法

本发明涉及图像处理及计算机视觉中的目标检测,特别涉及一种光谱信息指导的双模态目标检测方法。

背景技术:

1、目标检测技术能够从图像中识别目标类别并确定目标所在位置,已应用于医学检测、工业检测及质量控制等场景。随着深度学习技术的发展,基于神经网络的目标检测方法能够直接从输入图像中提取特征并进行分类和位置回归。常规视觉检测通常以rgb图像作为输入,rgb图像能够记录目标的颜色、亮度、纹理以及空间形态等信息,但其仅利用红、绿、蓝3 个宽波段进行成像,对连续光谱信息的表达能力有限。对于外观形态相近或者可见光对比度较弱、但在不同波段具有响应差异的目标,仅利用rgb图像中的空间视觉特征时,其类别区分能力容易受到限制。

2、高光谱成像能够在多个连续或者准连续窄波段获取图像信息,从而同时表征目标的空间特征和光谱响应。中国发明专利申请cn 119007005 a(公开日2024 年11 月22 日)公开了一种基于光谱细化的高光谱图像分类方法,该方法以高光谱图像像元块为输入,通过不同尺度的三维卷积提取多尺度特征,再利用分层分块和光谱自注意力对光谱特征进行细化,并利用全局感知结构提取长距离空间信息,最终完成高光谱图像分类。该类技术能够利用丰富的光谱信息,但其处理对象是已经获得的高光谱数据。同时,高光谱数据具有通道数量多、波段间相关性强和信息冗余等特点,直接处理高维高光谱数据会增加后续特征处理的复杂程度。以及等离子图像等多模态图像分别提取多尺度特征,再通过跨模态局部融合、跨模态全局融合和通道融合等方式进行特征交互,最后利用检测模块得到目标检测结果。采用多模态信息能够补充单一rgb图像的信息,但此类方案通常需要分别获得不同模态的输入数据,其技术重点主要在多个已有模态之间的特征交互和融合。

3、另一方面,基于深度神经网络的光谱重建技术已经能够由rgb图像重建多通道高光谱数据,为不使用专用高光谱成像设备而获得光谱信息提供了技术基础。然而,仅完成rgb图像到高光谱数据的重建,并不能直接解决重建光谱中的信息冗余问题,也不能保证具有类别区分价值的光谱信息能够在目标检测过程中得到充分利用。上述多光谱目标类型识别方法主要关注不同模态特征之间的拼接或交互,对rgb 空间特征和光谱响应特征在信息属性上的差异考虑仍存在进一步改进空间。

4、由此,现有技术仍需要解决以下问题:在不依赖专用高光谱成像设备的条件下,如何从rgb图像获得具有类别区分价值且维度紧凑的光谱信息,并使该光谱信息参与rgb 空间特征的选择性增强,以改善形态相近或可见光对比度较弱目标的检测能力。

技术实现思路

1、本发明要解决的技术问题在于,在不依赖专用高光谱成像设备的条件下,从rgb图像获得具有类别区分价值且维度紧凑的光谱信息,并利用所述光谱信息对rgb 空间特征进行选择性增强,以改善形态相近或可见光对比度较弱目标的检测能力。

2、为了实现上述目的,本发明提出一种光谱信息指导的双模态目标检测方法,包括:

3、获取rgb图像,采用光谱重构模块将所述rgb图像重建为多通道高光谱数据;对所述高光谱数据逐通道计算空间响应熵值并归一化,对归一化熵值进行反向处理,形成熵值正向指标;由可学习判别性评分网络获得各通道连续判别性评分,利用该评分对对应通道加权,并由辅助类别判别网络进行类别预测,通过类别预测结果与真实类别标签之间的分类损失反向更新所述评分网络;将判别性评分与熵值正向指标加权融合,按综合通道重要性筛选通道并按照原始波段顺序重组,形成紧凑光谱表征;

4、将所述rgb图像和所述紧凑光谱表征分别输入采用相同检测网络结构的rgb分支和光谱分支,分别训练两个分支,并提取对应的多尺度特征;

5、对于两个分支的同一尺度特征图,将光谱分支特征沿通道维度进行平均池化以生成空间注意力权重图,对所述权重图作sigmoid归一化后与rgb分支特征逐元素相乘,将得到的加权特征与原rgb分支特征进行残差相加,再与光谱分支特征沿通道维度拼接,获得融合特征;

6、将各尺度的融合特征输入检测头进行目标分类和边界框回归,输出目标类别与边界框位置。

7、优选地,所述光谱重构模块采用由多个单级光谱维transformer级联形成的多级光谱维transformer网络,采用长恒等映射与多阶段渐进式学习。单级光谱维transformer采用u形编码器—瓶颈—解码器结构,编码器经下采样提取多尺度特征,解码器经上采样恢复分辨率,对应层之间具有传递空间特征的跳跃连接,内部设有多个光谱注意力块;该网络采用空间对应的rgb图像与高光谱数据进行监督训练。

8、优选地,所述光谱注意力块包括依次布置的第一层归一化、多头光谱自注意力层、第二层归一化和前馈网络,多头光谱自注意力处理及前馈网络处理分别采用残差连接。所述多头光谱自注意力层将输入特征的空间维度展开,沿光谱通道维度构建查询矩阵、键矩阵和值矩阵,计算不同光谱维特征之间的相关性以形成光谱通道间依赖关系。前馈网络包含两个全连接层和gelu激活函数。

9、优选地,将输入特征图的空间维度展开为,对进行线性映射生成、、,沿特征通道维分为个头,每个头的维度为。对第个头有、;将各头输出拼接后线性投影并叠加位置编码,得到。其中,、为特征图高、宽,为注意力层内部特征通道数,为头数,为单头通道维数,为头序号,、、分别为查询、键和值矩阵,下标指对应注意力头;为可学习尺度参数,为注意力矩阵,为输出线性投影权重,为由两个深度可分离卷积层与gelu激活函数构成的位置编码生成函数,为拼接操作。

10、优选地,对第个光谱通道的空间响应,按计算各位置的相对响应,并按计算该通道的空间响应熵。式中,为光谱通道编号,、、、为空间坐标索引,和分别为高、宽,为数值稳定项;表征第通道在位置的相对响应权重。

11、优选地,以计算第通道的全局描述量,由各组成向量;将输入两层全连接判别性评分网络,使用relu和sigmoid激活函数,按照得到连续判别性评分向量。式中,、为两层全连接权重,、为偏置,为relu函数,为sigmoid函数。判别性评分网络将输出的连续权重作用于对应光谱通道,对加权后的光谱特征经辅助类别判别网络计算预测类别与样本标签间的分类损失,并将该损失反向传播以更新评分网络参数。

12、优选地,将第个光谱通道的空间响应熵归一化为,并以获得熵值正向指标;将该指标与通道判别性评分融合为。其中,为第通道评分,为平衡超参数,为通道重要性权重;将各通道按降序排列,根据信息保留率阈值确定保留数量,并按原始波段顺序对所选通道重排。

13、优选地,所述rgb分支和光谱分支采用相同的目标检测网络结构,均包含区域自注意力模块和残差高效层聚合模块;前者在划分的局部区域内进行多头自注意力计算,后者对输入特征进行残差变换、通道拼接与聚合。

14、优选地,区域自注意力模块沿竖直方向或水平方向把输入特征图划分为个区域,对区域局部特征分别执行操作,按拼接区域输出。其中,为区域数量,为区域序号,为输出特征,为多头自注意力处理,表示按原空间顺序拼接。

15、优选地,残差高效层聚合模块通过卷积调整输入通道,分别经多个残差块变换后沿通道维度拼接,再以卷积恢复通道数并与模块输入作残差相加,满足。其中,、为该模块的输入、输出,为缩放因子,为该模块残差块数,为残差块索引,为第个残差块,表示沿通道维度拼接。

16、与上述现有技术相比,本发明具有以下有益效果:

17、与以已有高光谱数据作为处理起点的方案相比,本发明由rgb图像重建光谱通道,并结合空间响应熵和可学习判别性评分进行筛选,从而以较少通道形成用于后续检测的光谱表征。与分别采集多个输入模态再作特征交互的方案相比,本发明由同一rgb图像产生原始rgb信息及其重建光谱信息,使光谱分支先生成同尺度空间注意力权重,再对rgb特征作残差增强和通道拼接,向目标分类及边界框回归提供融合特征。根据本说明书所述尿沉渣公开数据集对照结果,双分支模型相较rgb单分支的召回率从0.806升至0.874,分数从0.827升至0.845,从0.884升至0.899;其精确率及并未高于所有单分支模型,故实验增益主要体现在召回率、分数和。其中,分数为精确率与召回率的调和平均值,为交并比阈值0.5条件下的类别平均精度均值,为交并比阈值0.5至0.95、步长0.05条件下的平均精度均值。