基于门控的流式多模态融合视听源分离方法

本发明涉及音视频信号处理与多模态学习领域，尤其涉及一种基于动态门控机制的多模态特征融合方法，具体是一种流式多模态融合的视听源分离方法，适用于复杂环境下的多源音频信号分离任务。

背景技术：

1、随着多媒体应用的不断发展，如何从复杂混合的音频中准确分离出各个独立声源成为研究热点问题。传统的音频源分离方法主要依赖于独立成分分析(ica)或非负矩阵分解(nmf)等单模态手段，在处理含有多种声源和干扰的真实场景时效果有限。

2、近年来，受益于深度学习的进步，学者们开始引入视频中的视觉信息辅助音频建模，形成“视听源分离”这一新兴研究方向。大多数现有工作采用音频与视觉特征的简单连接或逐元素乘法作为融合手段，但这类融合策略难以建模模态之间的动态依赖关系。当引入新的模态(如运动)时，传统单阶段融合策略在跨模态信息协同建模方面存在明显局限，影响分离性能与泛化能力。

技术实现思路

1、本发明提供了一种基于门控的流式多模态融合视听源分离方法，旨在提升多模态特征融合的灵活性与分离精度。所述方法引入了融合视觉、音频和运动信息的流式多模态建模机制，通过门控机制在不同阶段动态调整各模态的融合权重，实现更加精准的特征集成。融合后的多模态表示被用于引导音频掩码的生成，从而分离混合音频中的目标声源信号。

2、本发明方法构建于端到端的深度网络框架之上，整体结构清晰、模块可组合性强，适用于复杂环境下的多源音频分离任务。通过引入两阶段融合策略，多尺度视觉注意模块与视听transformer结构，本发明显著提升了模态间协同建模能力与分离性能，在真实多模态感知系统中具有广泛的应用前景。

1.一种基于门控的流式多模态融合视听源分离方法，包括：接收一组视频帧和对应的混合音频信号；使用预训练的对象检测器从视频帧中提取对象特征；使用预训练的视频编码器从视频帧中提取运动特征；使用u-net结构从混合音频中提取中间音频特征；通过两阶段动态门控融合模块进行多模态特征融合，第一阶段根据门控机制动态调整对象特征与音频特征的融合比例，第二阶段进一步融合第一阶段输出与运动特征；将融合后的特征输入音视频transformer模块以建模跨模态交互；基于一组乐器类别的查询生成多个音频掩码嵌入；使用生成的掩码嵌入对混合音频频谱图进行掩码预测；最后通过逆短时傅里叶变换还原分离后的音频信号。

2.根据权利要求1所述的一种基于两阶段动态门控融合的端到端音视频源分离方法，其中所述第一阶段融合通过对象特征与音频特征的通道乘法生成初始融合特征，并通过多头交叉注意力机制计算第一阶段门控权重，以加权输出融合结果。

3.根据权利要求1所述的一种基于两阶段动态门控融合的端到端音视频源分离方法，其中所述第二阶段融合将第一阶段输出与运动特征输入至多头交叉注意力模块中，生成第二阶段门控权重，并输出最终融合的多模态特征表示。