基于多轨道语义分离与残差噪声分配的音频修复方法及音响系统与流程

本发明涉及音频信号处理领域，尤其涉及一种基于多轨道语义分离与残差噪声分配的音频修复方法及音响系统。

背景技术：

1、随着数字音频技术的快速发展，音频修复在音乐存档、影视后期制作、历史录音数字化保护等领域具有重要的应用价值。老旧音乐录音、电影光学声轨等历史音频资料常因存储介质老化、录制设备限制等原因，混入磁带咝声、胶片光学声底噪、脉冲爆音等多种类型的噪声，严重影响听感质量。

2、音频降噪是音频修复、音乐制作、影视后期制作中的核心技术环节。传统的音频降噪方法主要包括以下几类：

3、第一类是单轨整体降噪方法，如谱减法、维纳滤波法、统计模型降噪法等。这类方法直接对混合音频进行噪声估计和降噪处理，其核心假设是噪声在时频域上具有相对稳定的统计特性。然而，实际音频中的有用信号与噪声在时频域上高度重叠，整体降噪不可避免地会对有用信号造成损伤，导致音乐细节丢失、人声失真等问题。此外，不同语义成分（如人声、打击乐、弦乐）对降噪处理的敏感度不同，统一强度的降噪难以兼顾各类成分的保护需求。

4、第二类是基于深度学习的端到端降噪方法，如基于卷积神经网络或transformer的降噪模型。这类方法通过大量配对数据学习带噪音频到干净音频的映射，在特定噪声类型上取得了较好的效果。然而，此类方法通常针对单一类型的噪声进行训练，面对实际音频中多种噪声叠加的情况，降噪效果会显著下降。同时，端到端方法缺乏对音频语义结构的显式建模，无法针对不同语义成分的特性进行差异化处理，在修复复杂音乐或影视音频时，容易引入人工痕迹。

5、因此，现有技术存在以下不足：其一，无法在降噪过程中有效保护不同语义成分的固有特征，导致修复后音频存在细节损失和失真；其二，缺乏对多种叠加噪声的针对性处理能力，难以满足复杂场景下的修复需求。

6、以上背景技术内容的公开仅用于辅助理解本技术的构思及技术方案，其并不必然会给出技术教导。

技术实现思路

1、本发明的目的是提供一种基于多轨道语义分离与残差噪声分配的音频修复方法，通过将音频分离为多个语义轨道和残差轨道，在残差轨道上进行噪声分析以获得准确的噪声特征，并依据各语义轨道的信噪比将其区分为干净轨道和非干净轨道，对非干净轨道采用与语义类型匹配的专项降噪算法进行修复，同时将干净轨道隔离保护，从而在有效抑制噪声的同时最大限度地保留音频的原始语义细节，提升修复质量。

2、为达到上述目的，本发明采用的技术方案如下：

3、一种基于多轨道语义分离与残差噪声分配的音频修复方法，包括以下步骤：

4、利用预构建的音频分离模型，对待修复的原始音频进行分离，得到多个语义轨道及一个残差轨道，所述残差轨道为原始音频中未被所述语义轨道解释的剩余成分；

5、对所述残差轨道进行噪声分析，得到噪声特征；

6、根据所述噪声特征，将各个语义轨道区分为干净语义轨道或非干净语义轨道；

7、将所述干净语义轨道隔离至沙盒区域，对所述非干净语义轨道执行对应的专项降噪修复处理以得到降噪语义轨道；

8、将所述沙盒区域中受保护的干净语义轨道与修复处理后的降噪语义轨道重合成，得到修复音频。

9、进一步地，承前所述的任一技术方案或多个技术方案的组合，所述音频分离模型采用基于深度学习的编解码网络架构，其配置有编码器、掩码生成模块和解码器，其中：

10、所述编码器被配置为将待修复的原始音频的时域信号通过短时傅里叶变换转换为时频域信号，并通过多层卷积或transformer编码提取高层声学特征；

11、所述掩码生成模块被配置为基于所述高层声学特征，为每个语义轨道生成对应的时频掩码，该时频掩码的每个时频单元取值在[0,1]之间，其表示该时频单元属于对应语义轨道的概率；

12、所述解码器将各语义轨道的时频掩码与所述原始音频的时频特征相乘，得到各语义轨道的时频表示，再通过逆短时傅里叶变换转换回时域信号，作为各语义轨道的音频波形。

13、进一步地，承前所述的任一技术方案或多个技术方案的组合，通过以下任一种方式来生成语义轨道对应的时频掩码：

14、

mask

i(

m,

k)=

σ(

w

i·

h(

m,

k)+

b

i)，其中，

mask

i(

m,

k)为第

i个轨道的第

m帧、第

k个频点的时频掩码，

σ(

)为sigmoid激活函数，

h(

m,

k)为编码器提取到的高层声学特征，

w

i,

b

i分别为第i个轨道对应的可学习权重和偏置；

15、或者，，其中，

mask

i(

m,

k)为第

i个轨道的第

m帧、第

k个频点的时频掩码，

n为语义轨道总数量，表示第

j个轨道的得分函数；

16、或者，

mask

i(

m,

k)=sigmoid(

attention

i(

h(

m,

k)))，其中，

mask

i(

m,

k)为第

i个轨道的第

m帧、第

k个频点的时频掩码，

attention

i(

h(

m,

k))为通过注意力机制关注第

i个轨道的第

m帧、第

k个频点的时频区域的注意力函数，sigmoid(

)为激活函数。

17、进一步地，承前所述的任一技术方案或多个技术方案的组合，所述音频分离模型配置有编码器-解码器模型、特征标记模块、映射模块和音轨分配模块；其中：

18、所述编码器-解码器模型采用卷积神经网络和长短期记忆神经网络的结构，所述编码器-解码器模型被配置为：学习音乐时间结构，并解析目标音频信号中的多个单音源对应的分离波形；识别该分离波形所匹配的音源属性，所述音源属性包括频率、音色、响度、音调中的一种或多种；根据解析得到的各个单音源的分离波形，并结合与其匹配的音源属性，从所述目标音频信号中分离出多个音频元素；

19、所述特征标记模块被配置为按照预设的分类标签对分离得到的音频元素进行标记，所述分类标签为人声、钢琴、弦乐、吉他、贝斯、打击乐、台词、动效、拟音、音乐中的多种；

20、所述映射模块被配置为预构建不同轨道与不同分类标签之间的关联映射关系；

21、所述音轨分配模块被配置为将所述分离得到的音频元素分配到其被标记的分类标签所关联映射的轨道，以得到多个语义轨道。

22、进一步地，承前所述的任一技术方案或多个技术方案的组合，所述噪声特征包括噪声功率谱；通过以下方式将各个语义轨道区分为干净语义轨道或非干净语义轨道：

23、将所述噪声功率谱与语义轨道的时频掩码相乘，得到该语义轨道对应的噪声功率谱估计；

24、对各频点对应的噪声功率求和或者加权平均，作为该语义轨道的整体噪声功率；

25、通过以下公式计算该语义轨道的信噪比：，其中，pnoise表示该语义轨道的整体噪声功率，psignal表示该语义轨道本身的功率；

26、若所述语义轨道的信噪比高于预设的信噪比阈值，则判定该语义轨道为干净语义轨道，否则判定该语义轨道为非干净语义轨道。

27、进一步地，承前所述的任一技术方案或多个技术方案的组合，通过以下方式计算所述语义轨道本身的功率psignal：

28、若所述整体噪声功率pnoise为噪声功率求和结果，则利用以下公式计算语义轨道本身的功率：，其中，

x(

m,

k)表示对语义轨道作短时傅里叶变换得到的时频表示，

m为帧索引，

k为频点索引；

29、若所述整体噪声功率pnoise为噪声功率加权平均结果，则利用以下公式计算语义轨道本身的功率：，其中，

x(

m,

k)表示对语义轨道进行短时傅里叶变换得到的时频表示，

m为帧索引，

k为频点索引，

m为总帧数，

k为频点总数。

30、进一步地，承前所述的任一技术方案或多个技术方案的组合，对所述残差轨道进行噪声分析的方式如下：

31、基于语音存在概率的软判决更新噪声功率估计，更新公式为：

32、，其中，表示当前第

m帧、第

k个频点的噪声功率估计，

m为帧索引，

k为频点索引，表示上一帧、第

k个频点的噪声功率估计，表示残差轨道的当前第

m帧、第

k个频点的带噪信号的功率谱；

33、表示由第

m帧、第

k个频点的语音存在概率决定的自适应平滑因子，所述自适应平滑因子在预设下限值αmin与1之间线性插值，语音存在概率越高，则所述自适应平滑因子越接近于1。

34、进一步地，承前所述的任一技术方案或多个技术方案的组合，所述第

m帧、第

k个频点的语音存在概率通过以下方式计算得到：

35、计算残差轨道的当前帧带噪信号的时频表示

y(

m,

k)；

36、计算后验信噪比；

37、计算先验信噪比，其中，α为常数平滑因子，表示上一帧降噪输出的信号幅度谱的历史状态量，表示当前帧的后验信噪比，

max[ ]表示取大值函数；以及

38、通过似然比或sigmoid函数映射来计算得到第

m帧、第

k个频点的语音存在概率；

39、再通过以下公式计算所述自适应平滑因子。

40、进一步地，承前所述的任一技术方案或多个技术方案的组合，对所述残差轨道进行噪声分析的方式如下：

41、将所述残差轨道进行音频信号分帧；

42、对每一帧作短时傅里叶变换得到时频表示

y(

m,

k)，其中，

m为帧索引，

k为频点索引；

43、对每个频点在以帧索引为特征的时间轴上跟踪功率最小值，作为该频点的噪声功率估计：，其中，表示当前第

m帧、第

k个频点的噪声功率估计，表示上一帧、第

k个频点的噪声功率估计，为大于1的上升系数，其设定值与允许噪声估计上升程度相关。

44、进一步地，承前所述的任一技术方案或多个技术方案的组合，根据不同的音频场景，对原始音频分离得到相应的语义轨道：

45、针对音乐音频场景，将原始音频分离得到人声轨道、钢琴轨道、弦乐轨道、吉他轨道、贝斯轨道、打击乐轨道中的多种语义轨道；

46、针对影视音频场景，将原始音频分离得到台词轨道、动效轨道、拟音轨道、音乐轨道中的多种语义轨道；

47、以及对所述非干净语义轨道执行对应的专项降噪修复处理包括：

48、针对所述人声轨道或台词轨道的非干净语义轨道，使用第一降噪算法进行降噪修复；

49、针对所述钢琴轨道、吉他轨道或拟音轨道的非干净语义轨道，使用第二降噪算法进行降噪修复；

50、针对所述弦乐轨道的非干净语义轨道，使用第三降噪算法进行降噪修复；

51、针对所述打击乐轨道或动效轨道的非干净语义轨道，使用第四降噪算法进行降噪修复；

52、针对所述贝斯轨道的非干净语义轨道，使用第五降噪算法进行降噪修复；

53、针对所述音乐轨道的非干净语义轨道，使用自适应降噪策略动态选择所述第一降噪算法、第二降噪算法、第三降噪算法、第四降噪算法、第五降噪算法中的一种或多种组合来进行降噪修复。

54、进一步地，承前所述的任一技术方案或多个技术方案的组合，所述第一降噪算法为基于深度学习的语音增强模型，其用于抑制噪声的同时保护语音的辅音和气声；

55、所述第二降噪算法为瞬态保护降噪算法，其用于检测信号中的瞬态区域，并在瞬态区域降低降噪强度；

56、所述第三降噪算法为持续音保护降噪算法，其用于在降噪时保护持续的谐波成分和颤音调制；

57、所述第四降噪算法为脉冲保护降噪算法，其用于区分真实脉冲与噪声脉冲，进而仅衰减所述噪声脉冲而保留所述真实脉冲；

58、所述第五降噪算法为低频专用降噪算法，其用于针对低频段噪声进行衰减，同时保护贝斯轨道的低频基频和低次谐波。

59、进一步地，承前所述的任一技术方案或多个技术方案的组合，所述第一降噪算法、第二降噪算法、第三降噪算法、第四降噪算法、第五降噪算法的降噪参数参考所述残差轨道对应的噪声特征而进行设置，所述降噪参数包括降噪强度；所述噪声特征中噪声功率谱越高，则设置降噪强度越强。

60、进一步地，承前所述的任一技术方案或多个技术方案的组合，将所述干净语义轨道与降噪语义轨道重合成的步骤包括：

61、对修复处理后的各降噪语义轨道与所述沙盒区域中受保护的干净语义轨道进行相位对齐；

62、将相位对齐后的降噪语义轨道与干净语义轨道相加得到初步重合成信号；

63、计算所述初步重合成信号与待修复的原始音频的频谱包络差异，以识别所述初步重合成信号的频谱空洞频段；

64、对所述初步重合成信号的频谱空洞频段作能量补偿，得到修复音频。

65、进一步地，承前所述的任一技术方案或多个技术方案的组合，通过以下方式计算所述初步重合成信号与待修复的原始音频的频谱包络差异：

66、分别对所述初步重合成信号与待修复的原始音频进行短时傅里叶变换，得到初步重合成信号的时频表示

y

recon(

m,

k)以及待修复的原始音频的时频表示

y

orig(

m,

k)，其中，

m为帧索引，

k为频点索引；

67、对帧索引取平均，得到每个频点的平均功率谱：

68、

69、其中，

p

recon(

k)表示初步重合成信号的平均功率谱，

p

orig(

k)表示待修复的原始音频的平均功率谱，

m为总帧数；

70、对所述平均功率谱进行平滑处理，得到频谱包络：

71、，，其中，smooth[ ]表示平滑操作函数；

72、计算频谱包络差异：，或者，；

73、若频谱包络差异

d(

k)或

ddb(

k)超过预设的空洞阈值，则判定该频段为频谱空洞频段，并利用以下公式计算能量补偿后的修复音频，或者，，其中，

β1(

k)、

β2(

k)表示介于0至1的补偿系数。

74、进一步地，承前所述的任一技术方案或多个技术方案的组合，通过以下自适应策略确定所述补偿系数：

75、

β(

k)=

76、其中，

d为频谱包络差异

d(

k)或

ddb(

k)，

dlow为空洞阈值，

dhigh为空洞显著阈值，

βmin为保守补偿常数系数，

βmax为强化补偿常数系数，

βmax＞

βmin；

77、或者，

β(

k)=min[1,]，其中，

d为频谱包络差异

d(

k)或

ddb(

k)，

dmax为预设的最大允许差异值，

βbase为基准补偿常数系数。

78、根据本发明的另一方面，提供了一种音响系统，包括扬声器、音频处理器和存储器，其中，所述存储器用于存储程序指令，所述音频处理器被配置为运行所述程序指令而执行如上所述的方法的步骤，并将处理得到的修复音频输出给扬声器。

79、本发明提供的技术方案带来的有益效果如下：

80、a. 先将原始音频分离为多个语义轨道和残差轨道，残差轨道集中了原始音频中未被语义轨道解释的噪声成分，在残差轨道上进行噪声分析可避免有用信号对噪声估计的干扰，从而获得比直接在混合音频上估计更准确的噪声特征，为后续降噪处理提供可靠的参数依据；

81、b. 根据噪声特征将各语义轨道区分为干净轨道和非干净轨道，将干净轨道隔离至沙盒区域不进行降噪处理，从根本上消除了降噪算法对干净信号的负面影响，确保了修复后音频中原始高质量成分的完整保留；

82、c. 不同语义轨道（如人声、打击乐、弦乐）具有不同的声学特性，对降噪处理的敏感度各异。本发明针对非干净轨道的语义类型采用对应的专项降噪算法，能够在有效抑制噪声的同时保护各轨道特有的声学细节，避免统一降噪带来的细节损失和失真，显著提升修复后音频的自然度和保真度；

83、d. 残差轨道中的噪声特征参数为各语义轨道的降噪提供了统一的参考依据，使各轨道的降噪参数设置具有针对性和一致性，能够有效应对实际音频中多种噪声叠加的复杂场景，本发明支持识别老影视修复中的特定噪声类型（胶片光学声底噪、磁带咝声、脉冲爆音）并调整降噪参数。