可见光与热红外RAW图像融合系统及其联合训练方法、融合方法、电子设备及可读存储介质
本发明涉及多模态图像处理与机器视觉领域,特别涉及一种可见光与热红外raw图像融合系统及其联合训练方法、融合方法、电子设备及可读存储介质。
背景技术:
1、raw图像是由图像传感器直接输出的原始测量数据,仅经过有限的校正处理,通常具有线性辐射响应和较高位深信息。相比经过isp流程转换得到的srgb图像,raw数据能够保留更丰富的场景辐射信息、动态范围信息以及传感器噪声特征。近年来,基于学习的方法被广泛用于raw域图像增强,在低光增强、去噪、超分辨率等底层视觉任务中展现出明显优势。此外,raw 域信息的保留优势也为高层视觉任务提供了新的研究方向,已有工作表明,基于 raw 输入的目标检测方法能够在复杂成像条件下获得更优的检测性能。
2、在复杂环境下(如极低照度、强逆光、烟雾遮挡等),单一模态视觉传感器难以稳定获取高质量图像信息。不同模态传感器由于成像原理不同,能够提供互补的场景信息。其中,可见光图像具有丰富的纹理和色彩信息,但在低光环境下信噪比显著下降;热红外图像则能够稳定提供目标辐射信息,但空间细节有限。因此,融合可见光与热红外图像成为提升机器视觉系统鲁棒性的有效手段。
3、然而,传统isp 处理与多模态融合过程彼此割裂。单模态 isp 主要针对单一传感器的视觉质量进行增强,而不会考虑后续融合过程对信息互补性的需求。因此,过度的单模态增强往往会放大传感器噪声、抑制互补特征,并在融合阶段引入伪影。此外,去噪、饱和截断、色调映射、将传感器测量值映射到 8 位 srgb 等isp操作会不可逆地压缩信息,使得融合网络难以纠正上游处理中产生的退化。上述问题在低照度、过曝等极端条件下尤为突出,此时 srgb 图像中的噪声放大、动态范围压缩和细节丢失会进一步向下游融合任务传播,限制最终融合结果的质量与鲁棒性。
技术实现思路
1、本发明为解决公知技术中存在的技术问题而提供一种可见光与热红外raw图像融合系统及其联合训练方法、融合方法、电子设备及可读存储介质。
2、本发明为解决公知技术中存在的技术问题所采取的技术方案是:
3、一种可见光与热红外raw图像融合系统,该系统包括:
4、图像采集模块,用于获取同一场景下同步采集或配准的可见光raw图像与热红外raw图像;
5、raw图像预处理模块,用于对所述热红外raw图像进行坏点校正和非均匀性校正预处理,并对所述可见光raw图像进行色彩校准及格式转换处理;
6、图像处理系统,包括参数化热红外增强模块、动态可见光增强模块以及跨模态图像融合模块;
7、所述参数化热红外增强模块用于对经所述raw图像预处理模块处理后的热红外图像进行自适应增强处理;
8、所述动态可见光增强模块用于对经所述raw图像预处理模块处理后的可见光图像进行自适应增强处理;
9、其中,所述参数化热红外增强模块与所述动态可见光增强模块中的至少一个由经训练的决策智能体调控运行,所述决策智能体用于根据至少包括可见光图像状态特征和热红外图像状态特征的图像状态特征,输出isp算子序列及与所述isp算子序列对应的连续参数,以供对应的参数化热红外增强模块及动态可见光增强模块执行所述自适应增强处理;
10、所述跨模态图像融合模块用于提取增强后的可见光图像特征和热红外图像特征,执行特征融合与解码重建,生成融合图像。
11、进一步地,所述raw图像预处理模块还用于对同步采集的所述可见光raw图像与所述热红外raw图像执行图像平移变换和缩放变换,以使所述可见光raw图像与所述热红外raw图像在空间位置和成像尺度上对齐。
12、进一步地,所述可见光raw图像为cfa格式raw图像,所述raw图像预处理模块用于对所述cfa格式raw图像进行黑电平校正、白平衡校正、颜色校正矩阵变换和去马赛克处理中的至少一种,并将所述cfa格式raw图像转换为三通道可见光图像。
13、进一步地,所述图像处理系统还包括色度去噪模块;
14、所述色度去噪模块用于以增强后的热红外图像特征为引导,对增强后的可见光图像的色度通道进行去噪处理;
15、相应地,所述跨模态图像融合模块用于提取增强并经所述色度去噪模块去噪后的可见光图像特征以及增强后的热红外图像特征,执行所述特征融合与解码重建。
16、进一步地,所述色度去噪模块用于将所述可见光图像转换至包含亮度通道和色度通道的颜色空间,并利用可见光图像的亮度特征信息和热红外图像特征作为联合引导,对所述色度通道的高频子带进行空间自适应调制,以抑制色度噪声并保持边缘结构;其中,所述色度去噪模块基于神经网络构建,所述神经网络的训练损失函数包括高频能量惩罚项和色度边缘保持损失项。
17、进一步地,所述决策智能体基于强化学习框架构建,包括策略网络和价值网络;
18、所述策略网络用于提取输入图像的图像状态特征,并预测下一步选择 isp算子的概率分布以及所选isp算子对应的连续参数;
19、所述价值网络用于根据当前图像状态特征预测状态价值,以辅助所述策略网络的训练和更新。
20、进一步地,所述isp算子包括曝光控制算子、伽马校正算子、色调映射算子、参数化去噪算子、对数色调映射算子和自动增益控制算子中的至少一种;
21、其中,所述色调映射算子通过多段分段线性函数近似色调映射曲线;
22、所述参数化去噪算子利用所述决策智能体预测的强度参数将模糊后的图像与该算子的输入图像进行混合;
23、所述自动增益控制算子根据图像局部特征动态估计亮度拉伸范围,以优化图像亮度分布。
24、本发明还提供了一种利用上述的可见光与热红外raw图像融合系统的可见光与热红外raw图像融合方法,该融合方法包括如下步骤:
25、获取同一场景下同步采集或配准的可见光raw图像数据与热红外raw图像数据;
26、对所述可见光raw图像数据与所述热红外raw图像数据进行如下预处理:对所述热红外raw图像数据进行坏点校正和非均匀性校正,对所述可见光raw图像数据进行色彩校准及格式转换;
27、由决策智能体根据至少包括可见光图像状态特征和热红外图像状态特征的图像状态特征,输出isp算子序列及与所述isp算子序列对应的连续参数;
28、根据所述isp算子序列及对应的连续参数,分别调控参数化热红外增强模块和动态可见光增强模块,对预处理后的热红外图像数据与可见光图像数据进行自适应增强处理;
29、由跨模态图像融合模块提取增强后的可见光图像特征和热红外图像特征,执行特征融合与解码重建,生成融合图像。
30、进一步地,对所述可见光raw图像数据与所述热红外raw图像数据进行预处理的步骤还包括:
31、对同步采集的所述可见光raw图像数据与所述热红外raw图像数据执行图像平移变换和缩放变换,以使二者在空间位置和成像尺度上对齐;
32、对所述可见光raw图像数据进行黑电平校正、白平衡校正、颜色校正矩阵变换和去马赛克处理中的至少一种,并将cfa格式数据转换为三通道可见光图像数据。
33、进一步地,该融合方法还包括如下色度去噪方法步骤:
34、在所述执行特征融合与解码重建之前,将增强后的可见光图像转换至包含亮度通道和色度通道的颜色空间;
35、利用所述可见光图像的亮度特征信息和增强后的热红外图像特征作为联合引导,生成空间调制权重;
36、根据所述空间调制权重对所述色度通道的高频子带进行自适应去噪,以抑制平坦区域中的色度噪声并保持边缘结构。
37、进一步地,所述跨模态图像融合模块生成融合图像的方法步骤包括:
38、将增强后的可见光图像和增强后的热红外图像分别输入至对应的分支编码器,以提取不同模态的特征表示;
39、采用特征聚合策略和/或注意力机制策略,对所述不同模态的特征表示进行融合;
40、通过解码器对融合后的特征进行解码,生成所述融合图像;
41、在训练过程中,利用图像质量损失和/或任务驱动损失对所述分支编码器、所述注意力机制和所述解码器进行优化。
42、本发明还提供了一种利用上述的可见光与热红外raw图像融合系统的联合训练方法,该联合训练方法由计算机设备执行,包括如下步骤:
43、获取配准的可见光raw图像样本与热红外raw图像样本;
44、对所述可见光raw图像样本和所述热红外raw图像样本进行raw图像预处理;
45、将预处理后的所述可见光raw图像样本与所述热红外raw图像样本分别输入对应的增强模块,在决策智能体的调控下输出增强后的可见光图像和增强后的热红外图像;
46、将所述增强后的可见光图像和所述增强后的热红外图像输入跨模态图像融合模块,生成融合图像;
47、将所述融合图像输入下游任务处理模型中获取任务评估结果,并根据所述任务评估结果以及图像质量评价指标计算所述决策智能体的即时奖励信号;
48、根据所述即时奖励信号构建包含策略优化目标在内的决策智能体损失函数,并对所述决策智能体与所述跨模态图像融合模块进行端到端的联合优化更新。
49、进一步地,所述下游任务包括目标检测、语义分割、实例分割、目标跟踪、关键点检测中的至少一种;
50、所述即时奖励信号的计算方法综合下游任务精度的提升量、所述融合图像与参考图像或参考结构信息之间的结构相似度评分,以及针对低照度区域、目标区域或热显著区域的亮度不对称增益奖励;
51、所述决策智能体损失函数综合考虑所述决策智能体的动作选择策略带来的期望收益提升、动作选择策略的概率分布损失以及下游任务损失,所述联合优化更新基于梯度反向传播机制执行。
52、本发明还提供了一种电子设备,包括存储器和处理器,所述存储器上存储有计算机程序,所述处理器执行所述计算机程序时实现如上述的可见光与热红外raw图像融合方法,或者实现如上述的可见光与热红外raw图像融合系统的联合训练方法的步骤。
53、本发明还提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如上述的可见光与热红外raw图像融合方法,或者实现如上述的可见光与热红外raw图像融合系统的联合训练方法的步骤。
54、本发明具有的优点和积极效果是:通过在融合前引入动态isp调度机制,并在可选实施方式中引入热红外引导色度去噪,对raw数据进行协同处理;在融合阶段完成跨模态特征融合,从而实现兼顾视觉观感与机器视觉性能的图像融合结果。
55、与现有技术相比,本发明具有以下优点:
56、通过在融合前引入与可见光和热红外图像状态相适配的动态isp调度机制,对raw数据进行协同增强;在需要时利用热红外结构信息引导可见光色度去噪;在融合阶段完成跨模态特征融合,从而获得兼顾视觉观感与机器视觉性能的融合图像。
57、本发明能够通过二维平移和缩放对齐减少复杂几何变换对raw数据物理特性的破坏;通过坏点校正、非均匀性校正、色彩校准和格式转换提高两种模态数据的一致性;通过决策智能体动态调度isp算子序列及连续参数,提高系统对不同光照和热场景的适应能力;通过可选的热红外引导色度去噪抑制弱光色斑并保持边缘;通过跨模态融合和任务驱动联合训练提升融合图像质量及下游任务性能。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com