一种声音音效的增强方法及装置与流程

本申请涉及音频信号处理与声音增强，具体涉及一种声音音效的增强方法及装置。

背景技术：

1、当在影视、游戏及音乐播放等多媒体应用场景中，为了提升听觉体验，常需要对原始音频进行音效增强处理，以营造更符合画面内容的沉浸式声场环境。传统的音效增强技术通常直接对混合音频进行处理，或基于简单的语义标签检索并叠加预制的环境音效。这些方法在处理包含人声的复杂音频时，往往面临以下技术问题：首先，混合音频中人声与环境音频段重叠，人声可能对场景感知造成严重干扰，导致场景识别不准确；其次，单纯基于语义标签的音效检索容易忽略与原声在声学物理特征上的匹配度，导致检索出的增强音效与原声环境脱节，听感生硬；再者，将增强音效与原声直接叠加，可能在频谱能量重叠的频段产生冲突，造成声音浑浊、失真；最后，增强音效的空间声像分布若与原声背景的声场定位不一致，会造成听感上的空间割裂感，破坏沉浸式体验。因此，如何实现动态感知、物理适配且能无缝融合的音效增强，成为亟待解决的技术问题。

技术实现思路

1、本申请的目的之一在于提供一种声音音效的增强方法及装置，以解决现有技术中因场景感知受人声干扰、音效检索与物理环境脱节、音效叠加引发频谱冲突及空间声像分布割裂而导致的声音增强效果不自然、不沉浸的技术问题，实现了增强音效与原始音频在时间、频谱及空间维度上的动态、智能且无缝的深度融合。

2、为解决上述技术问题，本发明实施例是这样实现的：

3、第一方面，提供了一种声音音效的增强方法，该方法步骤包括：

4、步骤s001：获取原始声频，将原始声频进行时频特征提取和时频特征掩蔽，并进行时频特征分离得到背景音频谱与人声频谱；

5、步骤s002：根据背景音频谱提取观测序列，利用隐马尔可夫模型对观测序列进行时序动态场景演算，得到连续变化的场景状态向量；

6、步骤s003：基于背景音频谱的声学指纹双约束进行rag音效检索，并生成目标增强音效，将原背景音频谱与增强音效进行多频段侧链得到增益调节增强音效；

7、步骤s004：根据背景音特征进行原声声像定位，再根据场景状态向量进行空间渲染再计算出信掩比，最后与人声频谱进行频域融合，得到最终输出音频。

8、第二方面还公开了一种声音音效的增强装置，该装置包括：

9、频谱分离模块，用于获取原始声频，将原始声频进行时频特征提取和时频特征掩蔽，并进行时频特征分离得到背景音频谱与人声频谱；

10、场景状态向量模块，用于根据背景音频谱提取观测序列，利用隐马尔可夫模型对观测序列进行时序动态场景演算，得到连续变化的场景状态向量；

11、音效增强模块，用于基于背景音频谱的声学指纹双约束进行rag音效检索，并生成目标增强音效，将原背景音频谱与增强音效进行多频段侧链得到增益调节增强音效；

12、频域融合模块，用于根据背景音特征进行原声声像定位，再根据场景状态向量进行空间渲染再计算出信掩比，最后与人声频谱进行频域融合，得到最终输出音频。

13、本发明实施例提供的上述技术方案的有益效果至少包括：

14、本发明实施例声音音效的增强方法及装置中，首先通过深度神经网络预测理想比值掩蔽，将原始声频精准分离为纯净的背景音与人声，从源头消除了人声对后续场景感知的干扰；接着，利用隐马尔可夫模型对背景音的时序特征进行演算，得到连续变化的场景状态向量，实现了场景的动态、平滑感知，避免了音效切换的突兀感；然后，通过结合场景语义与背景音物理声学特征的双约束检索（rag），并利用轻量级神经声码器进行快速特征迁移生成目标增强音效，确保了增强音效在语义和声学物理特性上均与原场景高度契合，同时利用多频段侧链动态增益机制，根据原背景音各频段能量自适应调节增强音效增益，有效避免了频谱冲突与局部掩蔽；最后，基于原声声像定位和场景状态向量对增强音效进行动态空间渲染，使其与原声场空间分布对齐，并基于心理声学模型计算信掩比，通过动态融合权重实现增强音效在频域的自适应避让融合。由此，本申请从根本上解决了背景技术中提及的现有技术问题，实现了增强音效与原始音频在时间、频谱及空间维度上的动态、智能且无缝的深度融合，显著提升了声音增强的沉浸感、真实感与清晰度。

15、本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书以及附图中所特别指出的结构来实现和获得。

16、下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

1.一种声音音效的增强方法，其特征在于，步骤包括：

2.根据权利要求1所述的声音音效的增强方法，其特征在于，所述步骤s001包括：

3.根据权利要求2所述的声音音效的增强方法，其特征在于，所述理想比值掩蔽公式为：

4.根据权利要求1所述的声音音效的增强方法，其特征在于，所述步骤s002包括：

5.根据权利要求1所述的声音音效的增强方法，其特征在于，所述步骤s003包括：

6.根据权利要求5所述的声音音效的增强方法，其特征在于，所述联合检索评分公式为：

7.根据权利要求1所述的声音音效的增强方法，其特征在于，所述步骤s004包括：

8.根据权利要求7所述的声音音效的增强方法，其特征在于，所述声像方位角计算公式：

9.根据权利要求7所述的声音音效的增强方法，其特征在于，所述动态融合权重公式为：

10.一种声音音效的增强装置，其特征在于，包括：