一种多模态特征的竞争性自适应融合方法
本发明涉及计算机视觉与多模态信息处理,尤其涉及一种用于音频与视频特征联合建模的多模态特征融合方法。具体而言,本发明通过对多模态特征进行通道维度竞争性权重分配以及特征自适应融合处理,以提升音视频跨模态交互过程中的特征表达能力和动态建模能力。
背景技术:
1、随着多媒体信息获取与处理技术的发展,越来越多的应用需要同时利用多模态的数据进行信息分析。例如,在视频理解任务中,不仅可以利用视频图像中的视觉信息,还可以利用视频中对应的声音信息。与单一模态信息相比,多模态数据能够从不同感知维度对同一事件或目标进行描述,具有更加丰富的语义表达能力以及更强的环境鲁棒性。例如,在复杂场景中,当视觉信息受到遮挡或光照变化影响时,音频信息仍然可以提供有效线索;而当音频信号受到噪声干扰时,视觉信息又能够提供额外的空间定位信息。因此,通过联合利用多模态信息,可以在一定程度上弥补单一模态信息的不确定性,从而提升智能感知系统的整体性能。
2、然而,由于不同模态在数据生成机制、表现形式以及语义表达方式等方面存在显著差异,多模态信息在实际应用中通常呈现出高度异构和动态变化的特点。例如,视频数据来源于光学成像过程,主要反映目标的空间结构与运动状态;音频数据则来源于声波振动过程,更侧重于描述声源的时间变化与频率特征。两类信号在采样方式、数据结构以及统计特性等方面均存在本质差异。同时,在同一场景中,不同模态对同一事件的语义侧重点也可能存在差异。因此,如何对不同模态特征进行有效建模并实现合理融合,成为多模态信息处理领域中的关键研究问题。
3、围绕这一问题,已有研究从不同技术路线进行了探索。早期多模态方法通常采用特征拼接或线性加权等方式实现多模态特征融合。例如,将不同模态特征在特征维度上直接拼接,或通过预设权重对各模态特征进行加权求和,从而获得统一的多模态表示。由于结构简单,这类方法在多模态研究早期得到了一定应用。然而,由于融合权重通常依赖人工经验设定,难以根据不同任务或不同场景进行动态调整,因此难以充分刻画不同模态之间潜在的复杂关联关系。
4、随着深度学习技术的发展,研究者逐渐利用不同模态之间天然存在的互补特性,对多模态特征进行更加有效的建模。在音视频任务中,视觉信息通常能够提供明确的空间定位信息,而音频信息则能够反映声源的时间变化特征。基于这种互补关系,一些研究提出了双向引导机制,通过音频特征对视觉特征进行引导,同时视觉特征也反向引导音频特征,从而在跨模态交互过程中实现语义对齐。这类方法在多模态事件识别、音视频理解以及跨模态分析任务中取得了一定进展。
5、在双向引导机制基础上,为进一步提升模型对复杂多模态特征的建模能力,研究者又在通道维度、空间维度以及时间维度引入注意力机制,通过在多个维度上构建注意力结构,实现更加细粒度的特征权重分配。例如,在通道维度上,模型能够对不同语义响应通道进行权重调节;在空间维度上,模型能够突出关键区域;在时间维度上,模型能够根据不同时间片段的信息贡献程度进行动态建模。通过多维度注意力机制的联合建模,多模态特征交互过程得到进一步增强。
6、此外,为降低大规模多模态模型的训练成本,一些研究采用冻结主干网络参数的方式,并在网络内部插入轻量化适配模块(adapter)以实现跨模态特征调制。通过仅训练适配模块,可以在保持主干网络结构稳定性的同时,实现多模态特征在统一语义空间中的对齐与融合,从而降低模型在新任务中的训练开销。
7、然而,在上述多模态特征融合方法中仍然存在一些问题。首先,在现有双向引导注意力结构中,通道权重通常通过对特征进行全局池化后接sigmoid函数生成。由于sigmoid函数对各通道响应进行独立映射,不同通道之间缺乏直接的竞争关系,因此在实际训练过程中,各通道权重往往呈现出较为接近的分布状态。这种相对均衡的权重分布会削弱模型对关键语义通道的突出能力,使得跨模态引导机制难以充分发挥不同模态之间的互补优势。
8、其次,在现有轻量化适配结构中,不同时间片段的特征通常通过同一组参数进行跨模态调制,即所有时间步共享相同的适配器参数。然而在实际音视频场景中,不同时间阶段中主导信息模态可能发生变化。例如,在某些时间片段中视觉信息可能更加明显,而在另一些时间片段中音频信息可能更具判别性。在这种情况下,单一适配器结构难以同时适应不同语义状态,从而限制了模型对复杂动态场景的建模能力。
9、因此,有必要在现有多模态融合框架基础上,设计一种能够在通道层面实现显式特征选择、并在时间维度上具备动态适应能力的多模态特征处理方法,从而提升跨模态交互过程中的信息利用效率,并增强模型在复杂动态场景中的表达能力。
技术实现思路
1、针对现有多模态特征融合方法在跨模态交互过程中存在的不足,本发明提出一种基于通道维度竞争性权重分配与特征自适应融合的多模态特征处理方法。
2、一方面,在现有双向引导注意力结构中,通道注意力通常作为跨模态特征交互的第一阶段,其生成的通道权重将直接影响后续空间注意力与时间注意力模块的特征表达能力。然而,在现有方法中,不同通道之间缺乏直接的竞争关系,因此在实际训练过程中,各通道权重往往呈现出较为接近的分布状态。这种相对均衡的权重分布会削弱模型对关键语义通道的突出能力,使跨模态引导机制难以充分发挥不同模态之间的互补优势。
3、另一方面,在现有多模态模型中,为降低训练成本,通常采用冻结主干网络并插入轻量化适配模块的方式实现跨模态特征调制。然而,在这种结构中,不同时间片段的特征通常通过同一组适配器参数进行处理,即所有时间步共享相同的特征调制方式。但在实际音视频场景中,不同时间阶段中主导信息模态可能发生变化。例如,在某些时间片段中视觉信息可能更加明显,而在另一些时间片段中音频信息可能更具判别性。在这种情况下,单一适配器结构难以同时适应不同语义状态,从而限制了模型对复杂动态场景的建模能力。
4、针对以上两个问题,本文设计一种能够在通道层面实现强调相关通道、抑制无关通道,并在时间维度上具备动态适应能力的多模态特征处理方法,从而提升跨模态特征交互过程中的信息利用效率,并增强模型在复杂动态场景中的表达能力。
5、在本发明所提出的多模态特征偏向性权重分配与自适应融合方法中,设输入的视觉特征表示为。其中,b表示批量大小,t表示时间步数量,c表示特征通道数,h和w分别表示空间分辨率。在基础模型中,将时间维与批量维展开,可表示为。其中,表示展开后的空间位置数量。具体技术方案如下:
6、1.通道维度竞争性权重分配模块
7、针对现有双向引导结构中通道注意力权重趋于平均的问题,本发明提出一种用于实现通道维度竞争性权重分配的特征调制机制。
8、首先,对输入特征进行通道层级重编码。具体地,采用轻量化瓶颈映射结构对通道特征进行变换,即先进行通道维度压缩,再通过非线性映射恢复至原始维度,其形式表示为:
9、 (1)
10、其中,,,r为通道压缩比,σ(·)为非线性激活函数gelu。通过该瓶颈结构,不仅可以控制参与计算的参数量,还可以在低维语义空间中建立更加充分的通道间关联关系,从而增强不同通道之间的语义交互能力,并为后续权重计算提供更加判别性的特征表示。
11、随后,对重编码特征在空间维度进行全局聚合,得到每个通道的全局统计响应:
12、 (2)
13、其中,表示第c个通道的全局响应值。
14、为构建通道间的竞争关系,本发明在通道维度引入归一化竞争机制,利用softmax函数生成初始权重,使所有通道在同一约束空间内进行相对比较,满足。因此,当某一通道权重增加时,其余通道权重必须相应减小,从而在通道之间形成显式竞争关系。
15、由于softmax输出的权重均为正值,仅能实现特征增强而难以对冗余通道进行抑制。为了同时实现通道增强与抑制,本发明对生成的通道权重进行中心化处理:
16、 (3)
17、通过该操作,使, 从而实现对关键通道的增强以及对次要通道的抑制。
18、最后,将中心化后的权重整体加1,以避免权重直接作用于特征时导致特征符号翻转,并保持原始特征尺度稳定。最终特征调制方式为:
19、 (4)
20、其中,α为调制强度系数,用于控制通道竞争权重对特征的影响程度。
21、通过上述步骤,本发明在通道维度实现了具有显式竞争关系的特征权重分配,从而增强模型对关键语义通道的选择能力。
22、2.特征自适应融合模块
23、针对现有适配模块在不同时间片段共享固定参数、缺乏动态适应能力的问题,本发明进一步提出一种基于混合专家机制的特征自适应融合方法。设主干网络某一高层输出特征为 ,其中t表示时间步。构建k个结构一致但参数独立的适配专家模块,每个专家均实现对跨模态特征的调制映射:
24、 (5)
25、其中, k = 1, 2, …, k。
26、为根据当前时间步的语义状态动态选择专家路径,使用softmax函数根据当前时间步特征生成各专家的融合权重:
27、 (6)
28、其中表示第k个专家对应的评分函数, 表示当前时间步t下,第k个专家的权重,满足。
29、最终输出特征表示为多专家加权融合结果:
30、 (7)
31、通过该机制,不同时间步的特征可以根据当前语义状态动态选择不同的专家路径,从而实现多模态特征的自适应融合处理。
32、本发明的有益效果为:
33、1.通过在通道维度引入归一化竞争机制,实现通道之间的显式竞争关系,从而形成通道维度竞争性权重分配。该机制能够有效增强关键语义通道响应,同时抑制冗余通道,从而提升跨模态特征交互过程中的信息选择能力。
34、2.通过引入基于混合专家结构的动态路由机制,实现多模态特征的特征自适应融合。该机制能够根据不同时间语义状态动态选择不同的特征处理路径,从而提升模型在复杂动态场景中的表达能力。
35、3.通过将通道维度竞争性权重分配机制与特征自适应融合机制进行结合,在保持主干网络结构稳定与模型参数规模可控的前提下,同时提升模型的特征选择能力与动态建模能力,从而增强多模态特征融合的整体效果。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com