多模态自适应特征融合方法和装置

摘要: 本申请涉及多模态特征融合,具体而言,涉及一种多模态自适应特征融合方法和装置。背景技术:1、在毫米波车辆到基础设施通信(vehicle-to-infrastruc...
多模态自适应特征融合方法和装置

本申请涉及多模态特征融合,具体而言,涉及一种多模态自适应特征融合方法和装置。

背景技术:

1、在毫米波车辆到基础设施通信(vehicle-to-infrastructure,v2i)车路协同通信场景中,为了实现车载设备与路侧固定基础设施之间的无线信息交互,往往需要融合多源模态数据来支撑高精度主动波束预测,以提升波束预测精度与环境适配能力。

2、现有多模态数据融合方式,通常直接将多类模态提取后的原始特征拼接融合,或采用预设权重完成特征合并。然而,一方面,多模态数据的原始特征维度与空间分布可能互不匹配,直接拼接会引入大量异构噪声,干扰特征有效信息提取;另一方面,采用预设权重,当某一模态受环境干扰失效时仍会同等参与融合计算,持续污染融合特征,造成时序建模输入数据质量劣化,最终显著降低毫米波波束预测的鲁棒性与对准精度。

技术实现思路

1、本申请的主要目的在于提供一种多模态自适应特征融合方法和装置,以解决异构特征直接拼接引入噪声、融合权重固定无法适配模态失效工况的技术问题。

2、为了实现上述目的,本申请的第一方面,提出了一种多模态自适应特征融合方法,包括:采集多模态数据;针对每个单模态数据分别提取对应的原始模态特征,将各模态对应的原始模态特征均映射至统一维度的特征空间,得到维度对齐后的标准化模态特征;拼接全部所述标准化模态特征得到全局上下文特征,基于所述全局上下文特征自适应生成各模态对应的动态融合权重;基于所述动态融合权重对各所述标准化模态特征加权,得到动态加权融合特征,对全部所述标准化模态特征进行等权平均,得到基准平均特征;融合所述动态加权融合特征与所述基准平均特征,得到多模态融合特征。

3、根据本申请提供的一种多模态自适应特征融合方法,所述多模态数据包括无线信道数据、视觉图像数据以及深度图像数据;所述针对每个单模态数据分别提取对应的原始模态特征,包括:通过无线信道特征提取模块提取所述无线信道数据的原始模态特征,得到第一模态特征;通过视觉特征提取模块提取所述视觉图像数据的原始模态特征,得到第二模态特征;通过距离特征提取模块提取所述深度图像数据的原始模态特征,得到第三模态特征。

4、根据本申请提供的一种多模态自适应特征融合方法,所述将各模态对应的原始模态特征均映射至统一维度的特征空间,得到维度对齐后的标准化模态特征,包括:通过特征映射层将所述第一模态特征映射至统一维度的特征空间,得到第一标准化模态特征、将所述第二模态特征映射至统一维度的特征空间,得到第二标准化模态特征、将所述第三模态特征映射至统一维度的特征空间,得到第三标准化模态特征。

5、根据本申请提供的一种多模态自适应特征融合方法,所述拼接全部所述标准化模态特征得到全局上下文特征,基于所述全局上下文特征自适应生成各模态对应的动态融合权重,包括:将所述第一标准化模态特征、所述第二标准化模态特征、所述第三标准化模态特征进行拼接后,输入基于专家混合模型moe门控思想的动态特征融合模块,生成与所述第一标准化模态特征对应的第一动态权重、与所述第二标准化模态特征对应的第二动态权重、与所述第三标准化模态特征对应的第三动态权重;其中,所述基于moe门控思想的动态特征融合模块用于基于三模态标准化特征构成的全局上下文特征,自适应生成各模态的融合权重。

6、根据本申请提供的一种多模态自适应特征融合方法,所述基于所述动态融合权重对各所述标准化模态特征加权,得到动态加权融合特征,对全部所述标准化模态特征进行等权平均,得到基准平均特征,包括:

7、根据公式,确定动态加权融合特征;

8、根据公式,确定基准平均特征;

9、其中,表示第一标准化模态特征,表示第二标准化模态特征,表示第三标准化模态特征,表示第一动态权重,表示第二动态权重,表示第三动态权重。

10、根据本申请提供的一种多模态自适应特征融合方法,所述融合所述动态加权融合特征与所述基准平均特征,得到多模态融合特征,包括:基于弱补偿调节系数将所述动态加权融合特征与所述基准平均特征进行加权残差融合,得到所述多模态融合特征;其中,所述弱补偿调节系数的取值范围为(0,1),用于控制基准平均特征对融合结果的修正幅度。

11、本申请还提供一种多模态自适应特征融合装置,包括如下模块:获取模块和处理模块;所述获取模块,用于采集多模态数据;所述处理模块,用于针对每个单模态数据分别提取对应的原始模态特征,将各模态对应的原始模态特征均映射至统一维度的特征空间,得到维度对齐后的标准化模态特征;拼接全部所述标准化模态特征得到全局上下文特征,基于所述全局上下文特征自适应生成各模态对应的动态融合权重;基于所述动态融合权重对各所述标准化模态特征加权,得到动态加权融合特征,对全部所述标准化模态特征进行等权平均,得到基准平均特征;融合所述动态加权融合特征与所述基准平均特征,得到多模态融合特征。

12、本申请还提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上述任一种所述多模态自适应特征融合方法。

13、本申请还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如上述任一种所述多模态自适应特征融合方法。

14、本申请还提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现如上述任一种所述多模态自适应特征融合方法。

15、本申请的实施例提供的技术方案可以包括以下有益效果:

16、由于针对每个单模态数据分别提取原始模态特征,并将各原始模态特征独立映射至统一维度的特征空间以得到标准化模态特征,因此能够统一不同模态特征的维度与分布尺度,避免直接拼接异构原始特征带来的大量噪声,有效保留各模态有效感知信息,改善时序建模输入特征的基础质量;

17、由于拼接全部标准化模态特征得到全局上下文特征,并依托全局上下文特征自适应生成各模态对应的动态融合权重,因此可依据实时环境下各模态数据的可信程度自动分配模态贡献占比,避免失效模态持续污染融合特征,解决传统固定权重无法适配复杂工况的缺陷;

18、由于同时生成动态加权融合特征与基准平均特征,并将两类特征融合得到最终多模态融合特征,因此可兼顾环境自适应修正与模态基础信息留存,进一步净化融合输出特征。

19、综上,本申请可以大幅提升恶劣场景下多模态融合特征的纯净度与可靠性,为模型预测提供高质量输入,从而有效提升预测结果的鲁棒性与精度。

1.一种多模态自适应特征融合方法,其特征在于,包括:

2.根据权利要求1所述的多模态自适应特征融合方法,其特征在于,所述多模态数据包括无线信道数据、视觉图像数据以及深度图像数据;

3.根据权利要求2所述的多模态自适应特征融合方法,其特征在于,所述将各模态对应的原始模态特征均映射至统一维度的特征空间,得到维度对齐后的标准化模态特征,包括:通过特征映射层将所述第一模态特征映射至统一维度的特征空间,得到第一标准化模态特征、将所述第二模态特征映射至统一维度的特征空间,得到第二标准化模态特征、将所述第三模态特征映射至统一维度的特征空间,得到第三标准化模态特征。

4.根据权利要求3所述的多模态自适应特征融合方法,其特征在于,所述拼接全部所述标准化模态特征得到全局上下文特征,基于所述全局上下文特征自适应生成各模态对应的动态融合权重,包括:

5.根据权利要求4所述的多模态自适应特征融合方法,其特征在于,所述基于所述动态融合权重对各所述标准化模态特征加权,得到动态加权融合特征,对全部所述标准化模态特征进行等权平均,得到基准平均特征,包括:

6.根据权利要求1-5任一项所述的多模态自适应特征融合方法,其特征在于,所述融合所述动态加权融合特征与所述基准平均特征,得到多模态融合特征,包括:

7.一种多模态自适应特征融合装置,其特征在于,包括:获取模块和处理模块;

8.一种电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述多模态自适应特征融合方法。

9.一种非暂态计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至6任一项所述多模态自适应特征融合方法。

10.一种计算机程序产品,包括计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至6任一项所述多模态自适应特征融合方法。