一种基于语义偏移矫正的多模态图像融合方法
本发明涉及多模态图像处理与计算机视觉,特别是涉及一种基于语义偏移矫正的多模态图像融合方法。
背景技术:
1、多模态图像融合技术旨在通过整合异构传感器(如红外热成像仪与可见光光学相机)采集的源图像,生成一幅兼具目标显著性与环境细节的高质量复合图像,其在全天候自动驾驶、军事侦察及防灾监测等领域具有极高的应用价值。红外图像通过捕获目标的热辐射信息,能够在恶劣光照或遮挡环境下清晰识别行人、车辆等显著目标,但缺乏场景的纹理细节与背景层次;而可见光图像具有丰富的空域分辨率、颜色信息与边缘结构,但极易受到光照不足、烟雾干扰或复杂背景的影响。
2、然而,现有技术存在以下问题,传统的基于空间域或普通深度学习框架的融合方法,主要聚焦于底层特征(如梯度、强度)的线性或非线性堆叠。由于缺乏对场景中高级语义信息的显式感知与建模,融合过程往往呈现出一种“盲目性”。这导致融合图像在视觉上虽然保留了部分特征,但在深层语义分布上与真实物理场景存在偏差,极易产生语义伪影,甚至在下游目标检测任务中导致误报或漏检。虽然曼巴(等状态空间模型在捕获长程依赖方面具有优势,但在序列化扫描过程中容易丢失局部高频细节(如边缘、纹理)。由于成像机理差异,异构模态特征在深层空间分布上存在偏移,简单的交互难以实现精确的结构重整。由于红外与可见光图像的成像机理迥异,红外图像反映的是物体表面的发射率与温度分布,而可见光反映的是反射光强与光谱特性。这导致两者在特征空间中的特征响应强度和几何分布存在显著差异。现有的简单交互机制(如拼接或相加)无法有效校准这种跨模态的空间偏差,难以实现异构特征在拓扑结构上的精准重整与深度耦合。
3、因此,如何在保持全局建模效能的同时,有效矫正跨模态语义偏移,补足状态空间模型在高频细节提取上的短板,并实现精确的异构特征重校准,是目前多模态图像融合领域亟待解决的关键技术难题。
技术实现思路
1、为了解决上述现有技术存在的问题,本发明的目的是提供一种基于语义偏移矫正的多模态图像融合方法,在保持全局建模效能的同时,有效矫正跨模态语义偏移,补足状态空间模型在高频细节提取上的短板,并实现精确的异构特征重校准。
2、为实现上述目的,本发明提供了如下方案:
3、一种基于语义偏移矫正的多模态图像融合方法,包括:
4、同步采集复杂环境感知场景下的红外图像与可见光图像,作为异构感知源输入预先训练的图像融合网络模型;
5、在特征提取阶段,采用由卷积模块与曼巴状态空间模型构成的双流混合架构并行处理所述异构感知源的双模态数据,分别提取具备局部纹理细节与长程上下文关联的初始视觉特征和初始可见光特征;
6、利用跨模态结构细化模块对所述初始视觉特征和所述初始可见光特征执行语义矫正与结构重整,将其动态解构为表征拓扑一致性的结构重塑流与引导显著性激活的语义门控流;
7、进一步引入语义偏移矫正模块,对解构后的特征流进行跨模态动态校准,以缓解异构传感器间的语义不一致与模态主导问题,获取高判别性的融合特征;
8、在特征重构阶段,通过通道拼接聚合所述融合特征的多模态信息,并采用级联上采样策略配合跨阶段长程跳跃连接,重构生成兼具高空间分辨率与强判别语义的融合图像。
9、可选地,得到所述结构重塑流和所述语义门控流包括:
10、利用跨模态结构细化模块对所述初始视觉特征和所述初始可见光特征并行执行层归一化与线性投影,以实现跨模态分布的初步对齐;
11、在通道维度上执行特征切分,将其划分为承载宏观拓扑信息的所述结构重塑流以及承载任务语义引导信息的所述语义门控流。
12、可选地,获得所述融合特征包括:
13、异构语义对齐:通过可见光与红外语义偏移矫正单元,针对不同成像机理产生的空间与语义偏差执行动态校准,获得语义校准后的特征流,所述语义校准后的特征流包括校准后的结构重塑流和校准后的语义门控流;
14、结构分量增强:利用卷积层提取所述校准后的结构重塑流的平滑局部特征,并输入二维状态空间扫描块执行选择性扫描,生成富含高频细节的结构表征;
15、语义响应映射:利用silu激活函数将所述校准后的语义门控流的响应值转化为非线性的空间门控权重,以识别并聚焦模态间的互补区域;
16、跨模态权重校准与聚合:利用一侧模态的结构表征与另一侧模态的空间门控权重执行逐元素乘法交互,通过线性聚合与残差连接叠加初始视觉特征,分别构建增强后的第一融合特征与第二融合特征,实现多模态信息的差异化增益。
17、可选地,获得所述语义校准后的特征流包括:
18、子空间投影:将结构重塑流与语义门控流映射至多个独立表征子空间,通过目标卷积投影为查询向量,同步将高层语义特征向量通过线性层投影为键向量;
19、空间-语义注意力度量:在各子空间中计算局部视觉特征与全局语义特征的相似度,利用sigmoid激活函数生成归一化的视觉-语义注意力图;
20、全局语义掩码生成:利用可学习的头权重对各子空间的注意力图执行加权求和,构建表征全局语义先验的掩码;
21、特征校准与映射:将所述掩码分别作用于结构重塑流与语义门控流,通过输出映射与残差学习,消除跨模态表征中的语义偏差,获得所述语义校准后的特征流。
22、可选地,所述高层语义特征向量获取包括:
23、在所述特征提取阶段中引入预训练并冻结权重的clip图像编码器对所述红外图像和所述可见光图像进行编码处理,提取出具备跨模态对齐特性的高层语义特征向量。
24、可选地,生成所述归一化的视觉-语义注意力图包括:
25、;
26、其中,k表示红外图像或可见光图像,表示特征通道维度的点积,为缩放因子,和分别表示针对第h个头设计的卷积投影层与线性投影层,用于构建对应的查询与键子空间,代表第h个头的视觉查询特征图,表示该头经过sigmoid激活后生成的归一化空间注意力掩码,表示红外图像或可见光图像的高层语义特征向量,为代表第h个头的视觉键特征图,表示结构重塑流或语义门控流。
27、可选地,获得所述校准后的结构重塑流和所述校准后的语义门控流包括:
28、;
29、其中,m为全局语义掩码,表示空间维度的广播乘法,则是由可学习参数经过softmax归一化后得到的标量权重,用于自适应地调节第h个注意力头在构建全局语义掩码时的贡献度,表示校准后的结构重塑流或校准后的语义门控流。
30、可选地,生成所述融合图像包括:
31、通过所述特征重构模块对所述融合特征进行通道拼接,并采用级联上采样策略将通道拼接后的融合特征逐步映射回高分辨率像素空间后基于曼巴模块重新建模全局依赖,同时引入跨阶段长程跳跃连接将所述初始视觉特征与重新建模全局依赖后的融合特征进行残差连接,以有效恢复丢失的底层纹理细节,得到次级重构特征;
32、将所述次级重构特征经过包含卷积层、批归一化层和sigmoid激活函数的卷积单元中,并映射为单通道的像素强度值,输出所述融合图像。
33、本发明的有益效果为:
34、本发明通过引入clip全局语义上下文,构建了语义偏移矫正模块,实现了对底层特征分布的动态纠偏,有效解决了由于成像机理差异导致的异构模态特征空间分布偏移问题,显著增强了语义相关区域的特征表达。同时,本发明结合了卷积算子的局部捕捉能力与曼巴模块的长程建模优势,利用二维状态空间扫描机制在保持线性计算效率的同时,补足了传统状态空间模型在高频细节保持上的短板。
35、本发明设计了语义引导的跨模态结构细化模块,通过“互为向导”的交叉门控机制,利用一模态经过语义校准的显著性分布激活另一模态的结构响应,实现了深度的跨模态特征纠缠与互补。
36、此外,本发明采用级联上采样策略并配合跨阶段长程跳跃连接,将浅层纹理细节直接注入重构网络,确保了融合图像在具备深层语义一致性的同时,拥有清晰的边缘结构与自然的强度分布,极大提升了下游视觉感知任务的可靠性。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com