一种基于光电科技的多光谱智能识别方法与流程

本发明属于机器视觉与人工智能，具体涉及一种基于光电科技的多光谱智能识别方法，尤其适用于可见光与热红外双模态图像的自适应融合、特征对齐及目标识别任务，可应用于全天候工业巡检、安防监控及自动驾驶感知等场景。

背景技术：

1、多光谱成像技术通过融合可见光与热红外等多个电磁波段的感知信息，能够在理论层面显著提升机器视觉系统的环境鲁棒性，热红外传感器基于目标自身的热辐射成像，不依赖外部光源，在黑暗或强光环境下具有天然优势，可见光相机则能捕捉丰富的纹理、颜色与形状细节，在光照充足时识别精度高，两者形成互补，其联合应用在工业巡检、全天候安防监控及自动驾驶感知等领域已有广泛实践。

2、深度神经网络已成为多光谱图像融合与识别的主流算法范式，常见架构包括：以双流卷积网络分别提取各模态特征后进行融合，以及基于注意力机制的自适应权重融合方法，当前与本发明最接近的现有技术方案为基于静态注意力权重的双流多光谱融合识别方法，其典型结构由可见光特征提取骨干网络、热红外特征提取骨干网络、静态通道注意力融合模块以及分类或检测输出头四个主要模块构成，该方案的处理流程为：系统同时采集对齐的可见光图像与热红外图像，分别输入对应骨干网络提取特征图，随后将两路特征图输入静态通道注意力融合模块，通过全局平均池化与全连接层生成固定的通道注意力权重向量，对拼接后的特征图加权得到融合特征，最终经输出头完成目标识别或分类任务。

3、上述现有方案存在以下三项根本性缺陷：

4、第一，静态权重融合机制导致极端场景识别失效，现有方案的融合模块权重在训练完成后即固化，无法感知推理阶段的实时光照变化，在极暗或雨雾场景下，可见光模态特征图以高噪声低信噪比的状态被固定比例地纳入融合计算，噪声特征污染融合结果，最终识别精度大幅下滑，甚至低于单红外模型基线性能，使多光谱系统的设计初衷完全失效。

5、第二，训练阶段缺乏模态均衡机制导致辅助模态学习不充分，可见光图像的高频纹理信息密度远高于红外图像，网络在梯度下降过程中自然偏向最小化可见光分支损失的方向更新参数，导致热红外骨干网络的参数未能得到充分优化，特征提取能力长期被压制，即便在红外本应主导的夜间或遮挡场景，由于热红外分支特征质量低下，系统依然无法获得预期的识别鲁棒性。

6、第三，静态光谱对齐方案无法应对动态场景光谱漂移，现有方案依赖离线标定完成多光谱对齐，标定参数仅对训练分布下的场景有效，当推理场景中出现动态阴影、遮挡或光照突变时，同一目标的实时光谱特征与标定时的基准特征发生偏移，识别系统在连续视频流中出现帧间抖动与识别结果不一致，跨场景泛化能力极差。

技术实现思路

1、本发明要解决的技术问题是：针对现有多光谱融合识别方法中静态融合权重无法自适应调节、辅助模态学习不充分以及动态场景光谱漂移无法在线校正的三项缺陷，提供一种能够在推理阶段实时感知光照条件、自适应调控各光谱模态融合权重、并在训练阶段主动均衡各模态学习进度的多光谱智能识别方法，同时具备在线光谱一致性校正能力，无需重新离线标定即可实现跨域自适应。

2、为解决上述技术问题，本发明提供一种基于光电科技的多光谱智能识别方法，包括以下步骤：

3、对可见光相机与热红外相机进行一次性几何标定，获取两相机之间的旋转矩阵与平移向量，利用单应性变换将热红外图像重投影至可见光图像的像素坐标系下，实现像素级空间对齐，得到对齐后的图像对作为后续处理的统一输入。

4、将对齐后的可见光图像输入光照质量感知子网络，该子网络通过多尺度特征下采样提取图像的明暗分布、对比度与局部光照均匀性等低级视觉统计特征，经全局光照特征聚合后，通过门控权重回归输出两个模态的原始门控得分，最终经归一化处理输出可见光模态动态门控权重与热红外模态动态门控权重，满足约束：

5、；

6、其中，表示可见光模态的融合贡献权重，表示热红外模态的融合贡献权重，两者之和恒为一，保证融合比例的归一化。

7、将对齐后的可见光图像与热红外图像分别输入双流骨干网络，提取可见光特征图与热红外特征图，其中为特征图通道数，与分别为下采样后的特征图空间高度与宽度。

8、利用光照质量感知子网络输出的动态门控权重，对两路骨干网络输出的特征图进行自适应加权融合，融合特征计算公式为：

9、；

10、其中，为自适应加权融合后的联合特征图，与以广播方式分别作用于对应骨干网络输出的整个特征图，当场景处于极端黑暗状态时，趋近于零而趋近于一，系统自动以热红外特征为主导，压制可见光噪声模态的干扰。

11、将融合特征输入识别输出头，完成目标检测或分类任务，输出最终识别结果。

12、进一步地，本发明还包括在训练阶段执行的跨模态对比对齐光谱一致性在线校正步骤，该步骤以光照条件良好时提取的多光谱联合特征为正样本锚点，以动态光照或遮挡场景下的特征为查询，以属于不同物理目标的特征集合为负样本，构建跨模态对比损失函数，在线驱动网络学习光照无关的稳定光谱特征表示。

13、跨模态对比对齐损失函数采用信息噪声对比估计形式，其计算公式为：

14、；

15、其中，为跨模态对比对齐损失，为每个训练批次中的样本数量，为样本索引，为第个样本在动态光照或遮挡场景下经归一化后的多光谱联合特征向量，为第个样本在光照良好条件下经归一化后的多光谱联合特征向量，即正样本锚点，为第个负样本的特征向量，来自不同物理目标，为负样本数量，为负样本索引，为余弦相似度函数，为温度超参数，用于控制特征分布的集中程度。

16、最终训练总损失由识别任务主损失与对比对齐损失加权合并构成：

17、；

18、其中，为最终总训练损失，为识别任务主损失，为对比损失的平衡系数，为可调超参数，用于控制光谱一致性约束的强度。

19、进一步地，本发明还包括在训练阶段执行的梯度解耦模态平衡优化策略，在每个训练迭代步骤中，分别计算主任务损失对可见光骨干网络最终层输出特征图的梯度范数与对热红外骨干网络最终层输出特征图的梯度范数，作为各模态的梯度贡献度指标：

20、；

21、其中，为可见光骨干网络最终层特征图所接收到的梯度的范数，用于衡量可见光模态对当前训练步骤的贡献强度，为热红外骨干网络最终层特征图所接收到的梯度的范数，用于衡量热红外模态的贡献强度，表示范数。

22、依据监控到的模态贡献度，动态计算各模态分支的梯度缩放系数：

23、；

24、其中，为施加于可见光骨干网络反向传播梯度的缩放系数，取值范围为，为施加于热红外骨干网络反向传播梯度的缩放系数，取值范围为，为数值稳定性常数，用于防止除以零，当可见光模态梯度范数远大于热红外模态梯度范数时，趋近于零，强制压制可见光主导的梯度更新，趋近于一，保证热红外分支获得充足的梯度以充分训练。

25、为防止逐批次梯度范数的随机波动导致缩放系数剧烈抖动，对梯度范数采用指数移动平均进行平滑：

26、；

27、其中，为第个模态在第个训练步骤的平滑后梯度范数，为第个训练步骤的平滑梯度范数历史值，为第个训练步骤实时计算的原始梯度范数，为指数移动平均平滑系数，值越大平滑程度越高，为模态索引，为当前训练步骤编号，梯度缩放系数的计算实际使用平滑后的梯度范数代替原始梯度范数，以获得稳定的训练动态。

28、与现有技术相比，本发明具有以下有益效果：

29、1.本发明通过光照质量感知子网络生成的动态门控权重机制，能够在极端光照场景下自动压制噪声模态、增强有效模态，消除噪声污染效应，相较现有静态融合方法，在极暗夜间场景下的目标检测漏报率显著降低，有效解决了多光谱系统在极端场景下性能甚至低于单红外模型基线的问题。

30、2.本发明通过梯度解耦的模态平衡优化策略，强制网络在训练阶段充分挖掘热红外等辅助模态的判别信息，提升热红外分支的特征提取质量，使多光谱系统在各类场景下均能充分发挥多传感器协同优势，克服了现有方案中辅助模态长期欠学习的根本缺陷。

31、3.本发明通过跨模态对比对齐框架，以在线方式校正动态光照与遮挡引起的光谱漂移，实现无需离线重标定的跨域自适应识别，大幅改善连续视频流中识别结果的时间一致性，在包含动态阴影的工业巡检场景中，识别帧间一致性指标显著提升。

32、4.本发明光照质量感知子网络采用轻量级深度可分离卷积设计，其参数量不超过主干骨干网络参数量的百分之二，满足边缘端实时推理时延要求，单帧处理时延低于二十毫秒，具备良好的工程部署可行性。