一种多模态传感器数据融合方法与流程

本发明涉及多模态传感器数据融合，具体为一种多模态传感器数据融合方法。

背景技术：

1、多模态传感器数据融合方法需要解决可见光图像与红外图像在时间同步和空间配准条件下的信息互补问题。可见光传感器在良好光照环境中能够捕获丰富的纹理和色彩细节，红外传感器则对热辐射目标敏感，不受光照变化影响。将两种模态图像融合，可以生成兼具细节表现力和目标凸显能力的图像，广泛应用于夜间监控、自动驾驶和工业检测等场景。现有的融合方法多采用多尺度分解、稀疏表示或深度学习预测权重的方式，存在两方面不足。一方面，常规的多尺度分解融合依赖于对图像进行金字塔分解后按局部对比度或能量进行融合，当面临光照突变、低纹理或局部遮挡时，基于灰度梯度或能量的融合准则容易受到噪声干扰，导致融合图像出现边缘模糊、光晕或目标轮廓断裂。另一方面，主流的像素级融合策略通常采用固定的加权系数或单一的显著性度量，未能有效捕捉可见光与红外图像之间结构信息的相似度，使得融合过程不能自适应地区分两种模态各自的优势区域，往往在保留可见光细节的同时削弱了红外目标的完整性，或在增强红外目标时引入过多可见光背景噪声。相位一致性作为一种对光照和对比度变化不敏感的局部结构度量，已被用于单一模态图像的特征检测，但将其扩展至多模态融合时，仍然存在如何量化不同模态之间结构匹配程度的难题。因此，需要一种能够在相位一致性框架下联合刻画局部能量强度和方向分布特征，并以此构建跨模态结构相似性度量的融合方法，以解决可见光与红外图像在复杂场景中结构信息可靠融合的问题。

技术实现思路

1、本发明提供一种基于相位一致性张量和张量点积的多模态传感器数据融合方法，解决现有融合方法在光照变化和低纹理区域中容易丢失结构信息、融合权重缺乏对多模态结构匹配程度自适应评估的问题。通过将可见光与红外图像分别转化为蕴含局部能量幅值和方向熵的相位一致性张量，利用张量点积衡量跨模态结构的匹配程度，生成能够区分模态优势区域的融合响应图，由此实现面向场景内容自适应的像素级融合。

2、为了实现上述目的，本发明提供如下技术方案：本发明提供一种多模态传感器数据融合方法，包括采集多模态传感器数据集合，该多模态传感器数据集合包含第一可见光传感器采集的第一图像序列和第一红外传感器采集的第二图像序列。对所述第一图像序列和所述第二图像序列进行时间轴对齐处理，生成对齐后的第一帧序列和第二帧序列。优选的，提取第一图像序列中各帧图像的第一采集时间戳和第二图像序列中各帧图像的第二采集时间戳，根据第一采集时间戳与第二采集时间戳之间的时间差值，采用三次样条插值对第二图像序列进行帧间插值，生成在时间轴上与第一图像序列同步的第二帧序列，将原第一图像序列作为对齐后的第一帧序列，将插值后的第二帧序列作为对齐后的第二帧序列，以此消除不同模态传感器之间因采样频率差异或触发延迟引起的时域失配，保证后续融合所对应帧在时序上的一致性。

3、对所述第一帧序列中的每个第一帧图像进行多尺度方向滤波，生成第一相位一致性张量序列；对所述第二帧序列中的每个第二帧图像进行多尺度方向滤波，生成第二相位一致性张量序列。作为本发明的一个技术方案，构建包含3个尺度参数和8个方向参数的log-gabor二维滤波器组，将每个帧图像与该滤波器组中的所有滤波器进行卷积运算，获得每个尺度每个方向下的滤波响应；针对每个像素位置，根据其所有尺度方向下的滤波响应计算局部能量幅值和局部方向熵，将该局部能量幅值作为幅值分量，将局部方向熵作为方向分量，构建每个像素位置的相位一致性张量，该相位一致性张量为二阶张量，包含幅值分量和方向分量。优选的，先对各滤波响应进行归一化处理，计算归一化滤波响应在方向维度上的总和作为该尺度的方向响应总和，再将各尺度方向响应总和按像素位置累加，得到总方向响应，并据此计算局部能量幅值，同时依据各方向响应的分布情况计算局部方向熵，由此形成二阶张量。多尺度方向滤波能够有效提取图像在不同尺度和方向上的结构特征及边缘信息，且相位一致性张量对光照变化和对比度差异具有不变性，可从可见光图像和红外图像中分别获得反映图像几何结构稳定性的描述，为跨模态融合提供鲁棒的特征表达。

4、根据所述第一相位一致性张量序列和所述第二相位一致性张量序列之间的张量点积，生成融合响应图序列。对每个帧图像中同一像素位置的第一相位一致性张量和第二相位一致性张量进行张量点积运算，得到该像素位置的点积标量，将所有像素位置的点积标量组合成与帧图像尺寸相同的点积矩阵。优选的，对所述点积矩阵进行线性拉伸，将其线性映射到0至1区间，生成融合响应图序列。进一步，在进行线性拉伸之前，计算点积矩阵的整体均值和标准差，设定下限阈值为均值减去两倍标准差，上限阈值为均值加上两倍标准差，将点积矩阵中低于下限阈值的元素截断至下限阈值，高于上限阈值的元素截断至上限阈值，再利用截断后的上下限阈值进行线性归一化，使归一化后点积矩阵的元素值位于0至1区间。通过张量点积运算，可将可见光图像和红外图像中结构一致、方向特性相似的位置赋予较高融合响应值，而对互补信息丰富或结构差异明显的区域则赋予适中或较低的响应值，从而在融合响应图中自动区分多模态信息的同质区域与互补区域。

5、根据所述融合响应图序列对所述第一帧序列和所述第二帧序列进行像素级融合，生成多模态融合图像序列。具体地，将融合响应图序列中每个像素位置的融合响应值作为第一权重系数，将1减去该融合响应值的差值作为第二权重系数；对每个像素位置，将第一帧图像像素值与第一权重系数相乘得到第一加权分量，将第二帧图像像素值与第二权重系数相乘得到第二加权分量，再将第一加权分量与第二加权分量相加，得到融合图像在该像素位置的像素值，遍历所有像素位置后生成多模态融合图像序列。优选的，对融合图像序列的每帧融合图像进行双边滤波，该双边滤波的空间域标准差取融合图像宽度的百分之五，灰度域标准差取融合图像最大灰度值的百分之十，将双边滤波后的图像作为最终的多模态融合图像序列。通过基于融合响应图的自适应加权，能够在纹理丰富区域充分利用可见光图像的高空间分辨率信息，同时在弱光或遮挡区域强化红外图像的辐射特性，避免融合过程中引入伪影或噪声；双边滤波后处理可进一步平滑平坦区域并保留边缘细节，提升融合图像的视觉质量与空间一致性。

6、作为本发明的进一步改进，在采集多模态传感器数据集合之前，还包括对第一可见光传感器和第一红外传感器进行空间位置标定，得到旋转矩阵和平移向量，并根据该旋转矩阵和平移向量对第一图像序列和第二图像序列进行空间配准，使两序列中对应帧图像的像素坐标通过单应变换对齐，将空间配准后的第一图像序列和变换后的第二图像序列作为多模态传感器数据集合。优选的，将第一可见光传感器的第一图像序列作为参考序列，将第一红外传感器的第二图像序列作为待变换序列，根据旋转矩阵和平移向量计算待变换序列中每帧图像相对于参考序列的单应矩阵，采用双线性插值对待变换序列中每帧图像的像素坐标进行重映射，生成与参考序列空间对齐的变换后第二图像序列，从而在空间维度上消除视差影响，保证同一场景点在不同模态图像中对应的像素位置准确重合，为后续的时间对齐和像素级融合提供几何一致的前提条件，显著提升融合结果的精准度和可靠性。

7、在上述技术方案中，本发明提供的技术效果和优点：

8、对第一帧序列和第二帧序列中的每一帧图像实施基于log-gabor滤波器的多尺度方向滤波，在多个尺度和多个方向上提取相位一致性特征，针对每个像素位置计算局部能量幅值和局部方向熵，并以此构建包含幅值分量和方向分量的相位一致性二阶张量。局部能量幅值反映该位置结构化信息的强度，局部方向熵则刻画方向分布的集中程度，两者共同构成的相位一致性张量同时编码了结构强度与方向特征，能够稳定地响应图像中的边缘、角点和纹理等结构元素。相比于单一依赖梯度幅值或能量谱的表示方式，该张量对光照强度和对比度变化具有不变性，因此在可见光与红外两种差异显著的模态下仍能提取出反映同一物理结构的一致性表达，为后续跨模态结构匹配提供了鲁棒的特征基础。在此基础上，对同一像素位置的第一相位一致性张量和第二相位一致性张量执行张量点积运算，获得反映两种模态在该位置结构匹配程度的点积标量，形成融合响应图序列。张量点积将幅值分量和方向分量的匹配关系集成在一个标量值中，当两个张量在幅值和方向特征上均高度一致时点积值较大，指示该位置适合保留可见光细节；当二者结构不一致时点积值较小，表明该区域宜突出红外传感器的热辐射目标。采用基于该融合响应图的自适应权重分配，对第一帧图像和第二帧图像逐像素进行加权融合，使得可见光纹理丰富区域和红外目标显著区域分别获得与其信息可信度匹配的融合系数，避免传统固定权重融合中出现的细节丢失或目标弱化现象。