一种基于异构多模态数据的自适应融合方法与系统与流程

摘要: 本发明涉及图像处理与计算机视觉,具体涉及一种基于异构多模态数据的自适应融合方法与系统。背景技术:1、随着计算机视觉在医学影像诊断、自动驾驶感知、遥感图像分析、安...
一种基于异构多模态数据的自适应融合方法与系统与流程

本发明涉及图像处理与计算机视觉,具体涉及一种基于异构多模态数据的自适应融合方法与系统。

背景技术:

1、随着计算机视觉在医学影像诊断、自动驾驶感知、遥感图像分析、安防监控等领域的深度应用,单一图像因采集原理和环境适应性的固有局限,已难以满足复杂场景下的信息需求。因此,将多源异构模态图像进行融合,最大化利用各模态的互补信息、抑制冗余与噪声,成为提升视觉任务性能的关键技术方向。

2、当前,异构多模态图像融合技术已形成两类主流方案:一类是基于传统信号处理的方法,通过将图像分解为低频全局信息与高频细节信息后加权融合,但此类方法依赖手工设计的特征算子,难以适配模态差异大的数据,且融合权重固定,无法根据图像局部质量动态调整,导致信息利用率低;另一类是基于深度学习的融合方法,如基于卷积神经网络或transformer的特征级融合,虽能自动提取特征,但仍存在多方面缺陷:其一,现有技术多未建立标准化的元信息管理机制,对图像的黑边、噪声、采集时间偏差等无效数据的过滤依赖简单阈值,且未根据模态特性进行针对性标准化,导致后续配准与特征提取受噪声干扰严重,其二,现有配准方法要么仅执行粗配准,忽略灰度分布差异大或结构相似度低的模态对的精配准需求,导致配准偏差;要么对所有模态对统一执行精配准,大幅增加计算复杂度,难以满足自动驾驶等低延迟场景的需求。其三,部分方法未对特征进行分层提取,或未保留模态特异性,导致融合时丢失关键信息;同时,融合权重多为预设固定值或仅依赖单一维度生成,未结合模态间的语义相关性动态调整。其四,现有融合方法多为通用设计,未针对下游任务的特性调整融合策略,无法针对性支撑不同任务需求,导致任务性能提升有限。

3、上述现有技术的缺陷,导致异构多模态图像融合的鲁棒性、精度与效率难以平衡,限制了其在高精度医学诊断、复杂环境自动驾驶等关键领域的落地应用。因此,亟需一种能够实现数据标准化、自适应配准、动态权重融合和任务驱动优化的全流程协同的异构多模态图像融合方案,以解决现有技术中信息利用率低、配准精度不足和任务适配性差的核心问题。

技术实现思路

1、本发明目的在于提供一种种基于异构多模态数据的自适应融合方法与系统,以解决上述背景技术中提出的问题。

2、为解决上述技术问题,本发明所采用的技术方案是:

3、一种基于异构多模态数据的自适应融合方法,包括以下步骤:

4、步骤一、获取同一目标的多源异构图像数据集,并为多源异构图像数据集中每个多源异构图像附加元信息,基于元信息,对多源异构图像数据集进行无效数据过滤和图像标准化,得到由若干个模态数据组成的多模态数据集;

5、步骤二、对多模态数据集中的每个模态数据对进行粗配准,得到初始变换矩阵,并基于每个模态数据对的灰度分布差异值和结构相似度值,判断是否对每个模态数据对的初始变换矩阵进行精配准,得到高精度变换参数;

6、步骤三、根据每个模态数据对的高精度变换参数,对多模态数据集进行重采样,得到多模态对齐图像数据集;

7、步骤四、分别提取多模态对齐图像数据集中各模态对齐图像的低层特征和高层特征;

8、步骤五、基于低层特征计算各模态对齐图像的质量得分,并通过交叉注意力机制计算模态对齐图像之间的高层特征,得到各模态对齐图像的跨模态相关性矩阵,据此结合质量得分与跨模态相关性矩阵,通过轻量级门控网络生成各模态对齐图像的融合权重,将各模态对齐图像的高层特征按融合权重进行特征融合,得到融合特征;

9、步骤六、根据融合特征应用的目标任务类型,在融合特征后添加任务类型专用网络分支,生成任务结果并输入多任务损失函数计算任务总损失,据此基于任务总损失,通过反向传播优化融合权重参数和特征提取网络的卷积核参数,得到优化的融合特征。

10、优选的,所述元信息包括分辨率、噪声方差、采集时间、黑边占比和模态类别标记,其中黑边占比通过对多源异构图像采用canny边缘检测算法识别黑边区域,按黑边像素总数除以图像总像素数计算得到;所述无效数据过滤的方法为:剔除元信息中满足黑边占比大于50%、噪声方差超过预设模态数据噪声方差阈值或采集时间与时间算数平均值之间时间差值超500ms的多源异构图像,所述时间算数平均值为多源异构图像数据集中去除当前待无效数据过滤的多源异构图像后,剩余所有多源异构图像采集时间的算术均值;所述图像标准化的方法为:将经无效数据过滤的多源异构图像统一转换为32位浮点型张量,且保留多源异构图像的原始数值范围,得到模态数据,即模态图像;

11、所述多源异构图像数据集中的多源异构图像至少包括可见光rgb图像、红外热成像图像、深度图像、sar图像和医学影像中的两种。

12、优选的,所述模态数据对的获取过程为:从多模态数据集中随机选择一个模态数据作为参考模态数据,优先选择分辨率最高的模态数据;将多模态数据集中剩余的模态数据分别与参考模态数据进行配对,得到n-1个模态数据对,其中,n为多模态数据集含有的模态数据数量;

13、所述粗配准的方法为:通过sift算法提取组成模态数据对的两个模态数据的sift特征点,提取时避开模态数据边缘10像素内的噪声区域,且每个模态数据至少提取50个有效特征点,对两个模态数据的sift特征点通过ransac算法进行处理,设置迭代次数为1000次、重投影误差阈值为2像素,剔除误匹配特征点后,估计得到包含平移、旋转和缩放参数的初始变换矩阵。

14、优选的,所述灰度分布差异值>预设灰度分布差异阈值或结构相似度值<预设结构相似度阈值,则判定模态数据对存在灰度分布差异大或结构相似度低,需对模态数据的初始变换矩阵进行精配准,否则,则将模态数据对的初始变换矩阵作为高精度变换参数,其中,灰度分布差异值基于两模态数据灰度直方图的巴氏距离计算,结构相似度值通过对两模态数据通过ssim算法计算;

15、所述精配准的方法为:对灰度分布差异大的模态数据对中的非参考模态数据的模态数据应用该模态数据对的初始变换矩阵,得到初步对齐一数据,并计算其与该模态数据对中参考模态数据的互信息,据此以互信息为相似性度量,通过梯度上升法优化初始变换矩阵得到得到含平移和旋转参数的刚性变换矩阵,将变换矩阵作为该模态数据对的高精度变换参数;

16、所述互信息通过对两模态数据通过互信息算法计算,该算法基于两模态数据对应像素灰度的联合概率密度与边缘概率密度,通过量化灰度分布的统计相关性得到;

17、对结构相似度低的模态数据对中的非参考模态数据的模态数据应用该模态数据对的初始变换矩阵,得到初步对齐二数据,并将其与该模态数据对中参考模态数据带入预训练voxelmorph模型预测局部形变场,将局部形变场与初始变换矩阵通过复合公式进行复合,得到非刚性变换场,将非刚性变换场作为该模态数据对的高精度变换参数;

18、所述复合公式为:

19、;

20、其中,是非刚性变换场,是初始变换矩阵,是局部形变场,是变换组合。

21、优选的,所述对多模态数据集进行重采样的过程为:

22、基于每个模态数据对的高精度变换参数,对多模态数据集中所有非参考模态数据的模态数据,通过重采样算法重采样至参考模态数据的分辨率,据此得到若干个模态对齐图像组成的多模态对齐图像数据集;

23、所述重采样算法为双线性插值法或双三次插值法:双线性插值基于待采样点周围4个像素加权计算像素值,双三次插值基于周围16个像素加权以保留更多细节;若模态数据对的高精度变换参数为非刚性变换场,则重采样算法采用双三次插值法,否则,则为双线性插值法。

24、优选的,所述低层特征(=32)通过将各模态对齐图像输入mobilenetv3的conv1-conv2浅层卷积层提取得到,该浅层卷积层重点捕捉模态对齐图像的边缘梯度、纹理方向和亮度变化信息;所述高层特征(=256)通过将各模态对齐图像输入resnet-50的第4-5深层卷积层或视觉transformer的全局注意力层提取得到,其中,=h/4,=w/4。

25、优选的,所述质量得分的获取方法为:

26、将各模态对齐图像的低层特征分别通过图像信噪比公式和局部对比度公式计算信噪比和局部对比度,并将信噪比和局部对比度带入质量得分公式计算得到该模态对齐图像的质量得分;

27、所述图像信噪比公式为:

28、;

29、其中,是模态对齐图像的信噪比,是低层特征的方差,是低层特征的均值;

30、所述局部对比度公式为:

31、;

32、其中,是模态对齐图像的局部对比度,是低层特征的标准差;

33、所述质量得分公式为:

34、;

35、其中,是模态对齐图像的质量得分,和为权重,且。

36、优选的,所述通过交叉注意力机制计算模态对齐图像之间的高层特征的具体方法为:

37、将多模态对齐图像数据集中任意两个模态对齐图像i和j进行两两配对,得到m×(m−1)个模态对齐图像对(i,j)(ij且(i,j)与(j,i)为不同对),其中,m为多模态对齐图像数据集含有的模态对齐图像数量;

38、对模态对齐图像对(i,j),将模态对齐图像的高层特征全局平均池化得到查询向量,模态对齐图像的高层特征经线性变换得到键向量和值向量,据此通过注意力分数公式计算各模态对齐图像的跨模态相关性矩阵;

39、所述注意力分数公式为:

40、;

41、其中,是特征维度。

42、优选的,所述轻量级门控网络生成各模态对齐图像的融合权重的方法为:

43、结合质量得分和跨模态相关性矩阵,通过轻量级门控网络生成各模态对齐图像的融合权重;

44、所述轻量级门控网络的数学表达为:

45、=;

46、其中,和为可学习参数,即融合权重参数。

47、优选的,所述特征融合的方法为:

48、将各模态对齐图像的融合权重和高层特征均带入加权拼接公式进行加权拼接融合,得到初步融合特征,并将初步融合特征输入多层感知机进行跨模态特征增强,输出融合特征;

49、所述加权拼接公式为:;

50、优选的,所述目标任务类型包括目标检测、语义分割和3d重建中的至少一种,其中,对于目标检测的任务专用网络分支为fasterr-cnn的区域提议网络头,通过roialign提取融合特征并分类回归,输出目标类别概率与目标坐标,即任务结果;对于语义分割的任务专用网络分支为u-net的跳跃连接结构,将融合特征与各各模态对齐图像的低层特征逐元素相加,输出高分辨率分割掩码,即任务结果;对于3d重建任务的任务专用网络分支为pointnet++的集合抽象模块,结合深度图预测含逐点3d坐标的点云结果,即任务结果。

51、优选的,所述多任务损失函数为各任务损失的加权和,即,通过adam优化器反向传播优化融合权重参数和特征提取网络的卷积核参数,其中,为目标任务的损失函数,且包括目标检测任务损失函数、语义分割任务损失函数和3d重建任务损失函数,为目标任务的不确定性学习参数,为任务总损失;

52、所述目标检测任务损失函数为:

53、;

54、其中,是目标检测任务损失函数,是目标真实坐标,是目标坐标,是目标真实类别标签,是目标类别概率;

55、所述语义分割任务损失函数函数为:

56、;

57、其中,是语义分割任务损失函数函数,是,是高分辨率分割掩码的掩码像素值,是真实分割掩码的掩码像素值;

58、所述3d重建任务损失函数为:

59、;

60、其中,是3d重建任务损失函数,是点云结果中的第q个点坐标,是真实点云结果中的第q个点坐标;

61、所述特征提取网络的卷积核参数包括mobilenetv3的conv1和conv2层的卷积核权重与偏置,resnet-50的瓶颈块内1×1卷积核和3×3卷积核的卷积核权重与偏置以及视觉transformer的16×16patch嵌入层卷积核的权重与偏置。

62、由于采用了上述技术方案,本发明相对现有技术来说,取得的技术进步是:

63、1.本发明构建标准化元信息管理与数据预处理机制,解决现有技术无效数据过滤粗糙和标准化适配性差的问题,通过为多源异构图像附加多维度元信息,通过量化计算黑边占比,精准过滤含大量黑边、高噪声或采集时间偏差大的无效数据;同时按模态原始物理意义将图像统一转为32位浮点型张量,既保留模态特性,又消除数值差异干扰,为后续操作奠定高质量数据基础。

64、2.本发明提出粗配准结合按需精配准的自适应配准策略,平衡现有技术配准精度不足与计算复杂度过高的矛盾。本发明先通过sift+ransac实现粗配准,再基于灰度分布差异与结构相似度动态判断精配准需求,仅对灰度差异大或结构相似度低的模态对执行精配准,且针对性采用刚性变换或非刚性变换适配不同场景,在提升配准精度的同时降低计算复杂度,适配低延迟应用场景。

65、3.本发明创新分层特征提取与动态权重融合机制,解决现有技术特征丢失、融合权重固定导致的信息利用率低问题,通过不同网络分别提取低层细节特征与高层语义特征,保留模态特异性;再结合低层特征计算的质量得分与交叉注意力生成的跨模态相关性矩阵,通过门控网络动态生成逐像素融合权重,实现高质量区域多贡献、低质量区域少参与的自适应融合,充分利用多模态互补信息。

66、4.本发明设计任务驱动的融合优化闭环,解决现有技术通用融合设计和任务适配性差的问题。本发明针对目标检测、语义分割和3d重建分别设计专用网络分支,构建任务结果-多任务损失-反向优化”闭环,通过含不确定性加权的多任务损失函数,将损失信号反向传播至融合权重与特征提取网络,动态优化相关参数,实现融合策略与任务需求的深度适配,提升不同任务的性能表现。