稀疏正交网络的单通道语音分离方法、系统、计算机设备与流程

1.本发明属于语音信号处理技术领域，尤其涉及一种稀疏正交网络的单通道语音分离方法、系统、计算机设备。


背景技术：

2.目前，语音分离算法通常可以分为传统的分离算法和基于神经网络的分离算法。传统的分离算法，主要指基于信号处理的算法、基于矩阵分解的算法、基于规则的算法，其中，基于信号处理的算法从信号角度分析混合语音，认为背景语音是平稳信号，从而估计出背景语音的功率谱或者利用滤波器实现语音分离，常用的有谱减法、维纳滤波及自适应滤波等；基于矩阵分解的算法，是建立在语音频谱具有低秩结构假设上的，从而可用少量的基表示语音谱空间，且认为不同的源语音会表达在不同的语音谱空间上；基于规则的方法主要基于听觉场景分析，根据语音的不同属性提取出语音特征并分组，利用分组信息实现语音分离。
3.近年来发展出的基于深度学习的算法，大多将语音分离任务转化为监督学习问题。监督语音分离的最初形式受到casa中时频(t
‑
f)掩蔽概念的启发。利用声音的时域掩蔽效应得到理想的二值掩模作为标签，在此基础上，利用深度学习模型学习混合语音到标签的映射函数，并利用标签信息提取出感兴趣的语音所在的时频单元。基于此，研究者提出了各种各样的掩模(如ibm：idealbinary mask，irm：ideal ratio mask，smm：spectral magnitude mask，psm： phase
‑
sensitive mask等)，以及各种网络结构(如深度神经网络(dnn)、卷积网络(cnn)、循环网络(rnn)等)应用于语音分离。典型的深度学习算法包括深度聚类算法(deep clustering，dpcl)以及排列不变训练的算法 (permutation invariant training，pit)。dpcl算法主要目的是逼近ibm(idealbinarymask)，先将混合语音的幅度谱映射到一个特定的高维空间，该空间有如下特点：隶属于不同说话人语音(以下简称说话人)的单元差异较大，隶属于相同说话人的单元相似度高；再采用聚类是的算法对该高维空间划分；最后根据聚类的结果对混合语音进行分离。pit算法的主要贡献为：提供一种计算损失函数的方法，解决基于掩模估计的语音分离的排列问题。其特点是计算网络输出与目标输出之间所有的排列，选择所有排列中最小的损失用于更新网络参数。
4.通过上述分析，现有技术存在的问题及缺陷为：
5.(1)基于信号处理的方法在语音分离任务中，存在源语音无法满足平稳性、源语音不是高斯白噪声，导致谱减法及滤波算法在语音分离中性能较低的问题。
6.(2)计算听觉场景分析算法，分离的效率依赖于规则的设计，而规则本身容易受到信噪比、清浊音、混合说话人性别等影响，导致在复杂场景下casa 不能取得较好的分离效果。
7.(3)基于矩阵分解的方法，是建立在语音信息具有低秩结构的假设上，当源语音谱的基不正交时，会导致混合语音不能准确的分离到对应的源。
8.(4)深度聚类算法，是通过聚类的方式估计掩模，不能采用估计掩模与理想掩模的
误差作为训练目标，而是优化通过嵌入向量得到的说话源仿射矩阵，因此在训练效果上并不完美。
9.(5)排列不变训练的算法，虽能该算法直接目标上是解决了深度聚类的缺陷，但是却没有利用不同源语音之间的差异性，增加了模型训练的难度，导致其性能还不够理想。
10.解决以上问题及缺陷的难度和意义为：语音分离是语音信号处理的基础问题，作为语音处理的前端处理，在语音识别、声纹识别、唤醒词识别等领域有重要应用。在实际应用中，受到资源与环境的限制，采集混合语音往往只有一个麦克风，即使存在多个麦克风，但是由于环境限制，这些麦克分采集的信号相近，几乎等效一个麦克风，所以针对单通道的语音分离研究更具有应用价值。
11.总体而言，虽能深度学习这种基于数据驱动的算法比传统的算法具有较好的分离性能，但是深度聚类算法与排列不变训练算法分别存在，训练目标不能反映分离性能和没有利用不同源语音之间的差异性模型训练的难度大等问题。于是，本发明在排列不变训练算法的基础上采用在一种稀疏正交神经网络策略，充分的挖掘不同源语音之间的差异性，提升模型的分离效果。


技术实现要素：

12.针对现有技术存在的问题，本发明提供了一种稀疏正交网络的单通道语音分离方法、系统、计算机设备，尤其涉及一种基于稀疏正交神经网络的稀疏正交网络的单通道语音分离方法、系统、计算机设备。
13.本发明是这样实现的，一种稀疏正交网络的单通道语音分离方法，所述稀疏正交网络的单通道语音分离方法包括：
14.训练时，将源语音信号和混合语音信号划分为训练集和验证集，对其中信号进行stft，得到时频表示及幅度谱；将幅度谱输稀疏正交神经网络模型入 onn
‑
scss，根据定义的损失函数计算损失，并以损失最小为目标，利用梯度下降算法训练网络，直到模型的损失函数收敛、同时在验证集上的损失达到最小时停止训练；测试时，掩蔽onn
‑
scss中分离层的所有其它通道，只允许其中一个通道有数据通过，获得网络输出，并据此估计该通道的mask，结合混合语音的时频表示，得到源语音的时频表示；最后进行短时傅里叶变换的逆变换，获得混合语音中该通道的源语音信号。
15.进一步，所述稀疏正交网络的单通道语音分离方法包括以下步骤：
16.步骤一，设混合语音信号由n个源语音信号混合而成，采集源语音信号，并将源语音信号、混合语音信号划分为训练集、验证集和测试集；
17.步骤二，对混合语音信号进行短时傅里叶变换stft，得到复频表示sr并提取其幅度谱矩阵m；
18.步骤三，构建稀疏正交网络onn
‑
scss模型；
19.步骤四，对onn
‑
scss模型的分离层参数w＝{w1,w2...w
n
}进行正交性与稀疏性约束，使混合语音中不同的源语音在分离层中能映射到不同的子空间；
20.步骤五，训练onn
‑
scss模型；
21.步骤六，利用已训练好的onn
‑
scss模型实现语音分离。
22.本发明是实现语音分离(简单来讲就是将含有两个说话人的语音提取出来，例如
张三与李四再同一个房间说话，我现在要张三的声音，即可采用本发明)
23.步骤一，该步骤是生成训练数据，目的是生成数据，为训练模型提供训练数据
24.步骤二，该步骤为模型提供特征。幅度谱是特征，stft是提取特征的方法为公开技术，特征是模型的输入。
25.步骤三.该步骤是本文模型，神经网络的结构。
26.步骤四.该步骤的意义是实现不同源的语音使得他们分布不同空间，达到分离的目的。
27.步骤五，该步骤为训练神经网络(onn
‑
scss)参数，使得本文设计的loss 达到最小，即提升分离性能。
28.步骤六，该步骤为应用训练好的onn
‑
scss模型去分离真实场景中的语音分离问题。
29.进一步，步骤一中，n事先已知，采集源语音信号，混合语音信号为所述源语音信号的线性叠加，混合的信噪比snr在[
‑
5,5]db范围内。
[0030]
进一步，步骤三中，所述稀疏正交网络onn
‑
scss模型，包括编码层、分离层、汇集操作和解码层，所述构建稀疏正交网络onn
‑
scss模型，包括：
[0031]
(1)幅度谱矩阵m经编码层，采用lstm映射到特征空间，获得混合语音的特征表示：
[0032]
f＝lstm(m)；
[0033]
其中，f是编码层的输出；
[0034]
(2)利用分离层对f进行分离，分离层有n个通道，第i个通道的输出s
i
＝[s
i,1
,s
i,2
...s
i,r
]
t
为该分离层的连接权w
i
乘f：
[0035]
s
i
＝w
i f, i＝1,2...n；
[0036]
其中，r为用户选择参数，所获得的s
i
是第i个源语音的特征表示；
[0037]
(3)对所有通道的输出进行汇集操作：
[0038][0039]
(4)用解码层对汇集操作的结果c进行解码：
[0040]
dm＝decode(c)；
[0041]
其中，dm是解码层的输出。
[0042]
进一步，步骤四中，所述对onn
‑
scss模型的分离层参数w＝{w1,w2...w
n
}进行正交性与稀疏性约束，包括：
[0043]
(1)正交性约束：即源语音i与源语音j的特征子空间的基尽可能正交，即对于i≠j中的每个元素都尽可能小：
[0044]
orth
i,j
＝|w
it
w
j
| i≠j；
[0045]
其中，w
i
表示分离层第i通道的连接权矩阵，乘法是矩阵乘法，绝对值是对应元素的绝对值；orth
i,j
中的每个元素都尽可能小，意味着源语音j的特征子空间每一个基尽可能不被源语音i的特征子空间的基线性表达；
[0046]
(2)稀疏性约束：同一源语音尽可能只在一个通道上有表达，即对于i≠j中的每个元素都尽可能小，这里所有运算均对元素进行：
[0047][0048]
进一步，步骤五中，所述训练onn
‑
scss模型，包括：
[0049]
(1)训练样本集为源语音信号和混合语音信号的幅度谱矩阵m；
[0050]
(2)构建onn
‑
scss，随机初始化onn
‑
scss的参数，包括分离层的连接权矩阵w＝{w1,w2,...,w
n
}、编码层和解码层的所有连接权参数w'；
[0051]
(3)将m输入给onn
‑
scss，得到其分离层的输出为s＝{s1,s2...s
n
}、解码层输出为dm；
[0052]
(4)设计损失loss(w,w')如下：
[0053][0054]
其中，loss中包含三项，第一项为输入语音的幅度谱矩阵m与onn
‑
scss 网络对其重构结果dm的重构误差，第二项为所述正交性约束公式给出的正交约束，第三项为所述稀疏性约束公式给出的稀疏约束，其中sum(
·
)表示对矩阵中每个元素的求和；
[0055]
(5)用训练集训练网络，运用梯度下降算法，获得使loss最小的onn
‑
scss 参数(w,w')，期间计算验证集上的loss数值从而适时终止训练过程。
[0056]
进一步，步骤六中，所述利用已训练好的onn
‑
scss模型实现语音分离，包括：
[0057]
(1)将待分离的混合语音的幅度谱矩阵m输入训练好的onn
‑
scss模型，得到模型分离层的输出s＝{s1,s2...s
n
}；
[0058]
(2)设置计数器m＝1；
[0059]
(3)将s
m
输入解码层，得到解码层的输出，记为dm
m
；
[0060]
(4)计算第m个源语音的掩模值mask
m
：
[0061][0062]
其中，所述运算为对元素进行运算；
[0063]
(5)根据混合语音的复频表示sr，结合mask
m
计算第m个源语音的复频表示，记为esr
m
：
[0064]
esr
m
＝sr
×
mask
m
；
[0065]
其中，所述运算为对应元素的运算；
[0066]
(6)对esr
m
做逆短时傅里叶变换istft获得第m个源语音的估计，作为从混合语音中分离出来的第m个源语音信号；
[0067]
(7)计数器m＝m 1；若计数器m>n，结束；否则转步骤(3)。
[0068]
本发明的另一目的在于提供一种应用所述的稀疏正交网络的单通道语音分离方法的稀疏正交网络的单通道语音分离系统，所述稀疏正交网络的单通道语音分离系统包括：
[0069]
语音信号采集模块，设混合语音信号由n个源语音信号混合而成，采集源语音信号；
[0070]
语音信号划分模块，用于将源语音信号、混合语音信号划分为训练集、验证集和测试集；
[0071]
语音信号变换模块，用于对混合语音信号进行短时傅里叶变换stft，得到复频表示sr并提取其幅度谱矩阵m；
[0072]
网络模型构建模块，用于构建稀疏正交网络onn
‑
scss模型；
[0073]
参数约束模块，用于对onn
‑
scss模型的分离层参数w＝{w1,w2...w
n
}进行正交性与稀疏性约束，使混合语音中不同的源语音在分离层中能映射到不同的子空间；
[0074]
模型训练模块，用于训练onn
‑
scss模型；
[0075]
语音分离模块，用于利用已训练好的onn
‑
scss模型实现语音分离。
[0076]
本发明的另一目的在于提供一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：
[0077]
训练时，将源语音信号和混合语音信号划分为训练集和验证集，对其中信号进行stft，得到时频表示及幅度谱；将幅度谱输稀疏正交神经网络模型入 onn
‑
scss，根据定义的损失函数计算损失，并以损失最小为目标，利用梯度下降算法训练网络，直到模型的损失函数收敛、同时在验证集上的损失达到最小时停止训练；测试时，掩蔽onn
‑
scss中分离层的所有其它通道，只允许其中一个通道有数据通过，获得网络输出，并据此估计该通道的mask，结合混合语音的时频表示，得到源语音的时频表示；最后进行短时傅里叶变换的逆变换，获得混合语音中该通道的源语音信号。
[0078]
本发明的另一目的在于提供一种信息数据处理终端，所述信息数据处理终端用于实现所述的稀疏正交网络的单通道语音分离系统。
[0079]
结合上述的所有技术方案，本发明所具备的优点及积极效果为：本发明提供的稀疏正交网络的单通道语音分离方法，主要在于提出一种含有多通道分离层的正交神经网络结构并结合一种特殊的稀疏性策略实现语音分离。
[0080]
本发明从多源语音信号混合得到的混合语音中，分离出参与混合的各源语音信号；通过设计和训练稀疏正交神经网络onn
‑
scss(onn
‑
scss，anorthogonal neural network for single
‑
channel speech separation)，尤其是在其中引入分离层，并约束分离层的连接权矩阵同时拥有正交特性和稀疏特性，其正交特性将混合语音中各源语音成分映射到不同的子空间中，其稀疏策略导致混合语音中的各源语音可通过分离层映射到不同的通道上(不同空间)，以此实现分离。实验结果表明，正交稀疏神经网络相对主流频域语音分离算法，在广泛应用于语音分离的评价指标上，性能都有较大提升。
[0081]
本发明提出了一种全新的神经网络设计方案，其中包含分离层，分离层的每个通道使语音特征可以表征在不同的空间中，增加了神经网络的表达能力。本发明提出了一种全新的分离层输出的稀疏化策略，从而用分离层中的单一通道实现源语音的分离。本发明不再像已有分离方法中直接在频域上进行掩膜，而是在语音特征空间中通过神经网络的训练自适应地获得掩膜。本发明的语音分离的性能优于现有主流方法。
附图说明
[0082]
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使
用的附图做简单的介绍，显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下还可以根据这些附图获得其他的附图。
[0083]
图1是本发明实施例提供的稀疏正交网络的单通道语音分离方法流程图。
[0084]
图2是本发明实施例提供的稀疏正交网络的单通道语音分离方法原理图。
[0085]
图3是本发明实施例提供的稀疏正交网络的单通道语音分离系统结构框图；
[0086]
图中：1、语音信号采集模块；2、语音信号划分模块；3、语音信号变换模块；4、网络模型构建模块；5、参数约束模块；6、模型训练模块；7、语音分离模块。
[0087]
图4是本发明实施例提供的模型数据流向结构图。
具体实施方式
[0088]
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
[0089]
针对现有技术存在的问题，本发明提供了一种稀疏正交网络的单通道语音分离方法、系统、计算机设备，下面结合附图对本发明作详细的描述。
[0090]
如图1所示，本发明实施例提供的稀疏正交网络的单通道语音分离方法包括以下步骤：
[0091]
s101，设混合语音信号由n个源语音信号混合而成，采集源语音信号，并将源语音信号、混合语音信号划分为训练集、验证集和测试集；
[0092]
s102，对混合语音信号进行短时傅里叶变换stft，得到复频表示sr并提取其幅度谱矩阵m；
[0093]
s103，构建稀疏正交网络onn
‑
scss模型；
[0094]
s104，对onn
‑
scss模型的分离层参数w进行正交性与稀疏性约束，使混合语音中不同的源语音在分离层中能映射到不同的子空间；
[0095]
s105，训练onn
‑
scss模型，并利用已训练好的onn
‑
scss模型实现语音分离。
[0096]
本发明实施例提供的稀疏正交网络的单通道语音分离方法原理图如图2所示。
[0097]
如图3所示，本发明实施例提供的稀疏正交网络的单通道语音分离系统包括：
[0098]
语音信号采集模块1，设混合语音信号由n个源语音信号混合而成，采集源语音信号；
[0099]
语音信号划分模块2，用于将源语音信号、混合语音信号划分为训练集、验证集和测试集；
[0100]
语音信号变换模块3，用于对混合语音信号进行短时傅里叶变换stft，得到复频表示sr并提取其幅度谱矩阵m；
[0101]
网络模型构建模块4，用于构建稀疏正交网络onn
‑
scss模型；
[0102]
参数约束模块5，用于对onn
‑
scss模型的分离层参数w＝{w1,w2...w
n
}进行正交性与稀疏性约束，使混合语音中不同的源语音在分离层中能映射到不同的子空间；
[0103]
模型训练模块6，用于训练onn
‑
scss模型；
[0104]
语音分离模块7，用于利用已训练好的onn
‑
scss模型实现语音分离。
[0105]
下面结合术语解释对本发明作进一步描述。
[0106]
稀疏正交网络的单通道语音分离技术是一种在多语音情况下由单麦克风采集到的混合语音中分离出各个源语音的技术。
[0107]
下面结合实施例对本发明的技术方案作进一步描述。
[0108]
本发明是这样实现的。训练时，将源语音信号和混合语音信号划分为训练集和验证集，对其中信号进行stft，得到其时频表示及幅度谱；将幅度谱输入 onn
‑
scss(稀疏正交神经网络)模型，根据本发明定义的损失函数计算损失，并以损失最小为目标，利用梯度下降算法训练网络，直到模型的损失函数收敛、同时在验证集上的损失达到最小时停止训练。测试时，掩蔽onn
‑
scss中分离层的所有其它通道，只允许其中一个通道有数据通过，获得网络输出，并据此估计该通道的mask，结合混合语音的时频表示，得到源语音的时频表示；最后对其进行短时傅里叶变换的逆变换，获得混合语音中该通道的源语音信号。
[0109]
本发明实施例提供的稀疏正交网络的单通道语音分离方法包括如下步骤：
[0110]
步骤1.设混合语音信号由n个源语音信号混合而成，n事先已知。采集这些源语音信号，混合语音信号为这些源语音信号的线性叠加，混合的snr(信噪比)在[
‑
5,5]db范围内；将源语音信号、混合语音信号划分为训练集、验证集和测试集。
[0111]
步骤2.对混合语音信号进行stft(短时傅里叶变换)，得到其复频表示sr并提取其幅度谱矩阵m。
[0112]
步骤3.构建稀疏正交网络(onn
‑
scss)模型，该模型包含编码层、分离层、汇集操作和解码层，具体如下：
[0113]
步骤3.1.幅度谱矩阵m经编码层(采用lstm)映射到特征空间，获得混合语音的特征表示：
[0114]
f＝lstm(m)
ꢀꢀ
(1)
[0115]
其中，f是编码层的输出。
[0116]
步骤3.2.利用分离层对f进行分离。分离层有n个通道，第i个通道的输出 s
i
＝[s
i,1
,s
i,2
...s
i,r
]
t
为该分离层的连接权w
i
乘f：
[0117]
s
i
＝w
i f, i＝1,2...n
ꢀꢀ
(2)
[0118]
其中，r为用户选择参数，所获得的s
i
是第i个源语音的特征表示。
[0119]
步骤3.3.对所有通道的输出进行汇集操作：
[0120][0121]
步骤3.4.用解码层对汇集操作的结果c进行解码：
[0122]
dm＝decode(c)
ꢀꢀ
(4)
[0123]
其中，dm是解码层的输出。
[0124]
步骤4.为使混合语音中不同的源语音在分离层中能映射到不同的子空间中，对onn
‑
scss模型的分离层参数w＝{w1,w2...w
n
}进行正交性与稀疏性约束，具体如下：
[0125]
步骤4.1.正交性约束：即源语音i与源语音j的特征子空间的基尽可能正交，即对于i≠j，
[0126]
orth
i,j
＝|w
it
w
j
|i≠j
ꢀꢀ
(5)
[0127]
其中，w
i
表示分离层第i通道的连接权矩阵，乘法是矩阵乘法，绝对值是对应元素
的绝对值；orth
i,j
中的每个元素都尽可能小，这里w
i
表示分离层第i通道的连接权矩阵，乘法是矩阵乘法，绝对值是对应元素的绝对值。orth
i,j
中的每个元素都尽可能小，意味着源语音j的特征子空间每一个基尽可能不被源语音i的特征子空间的基线性表达。
[0128]
步骤4.2.稀疏性约束：同一源语音尽可能只在一个通道上有表达，即对于 i≠j，
[0129][0130]
对于i≠j中的每个元素都尽可能小，这里所有运算均对元素进行。
[0131]
步骤5.训练onn
‑
scss模型，具体如下：
[0132]
步骤5.1.训练样本集为源语音信号和混合语音信号的幅度谱矩阵m。
[0133]
步骤5.2.构建onn
‑
scss，随机初始化onn
‑
scss的参数，包括分离层的连接权矩阵w＝{w1,w2,...,w
n
}、编码层和解码层的所有连接权参数w'。
[0134]
步骤5.3.将m输入给onn
‑
scss，得到其分离层的输出为s＝{s1,s2...s
n
}、解码层输出为dm。
[0135]
步骤5.4.设计损失loss(w,w')如下：
[0136][0137]
loss中包含三项：第一项为输入语音的幅度谱矩阵m与onn
‑
scss网络对其重构结果dm的重构误差、第二项为公式(5)给出的正交约束、第三项为公式(6) 给出的稀疏约束，其中sum(
·
)表示对矩阵中每个元素的求和。
[0138]
步骤5.5.用训练集训练网络，运用梯度下降算法，获得使loss最小的 onn
‑
scss参数(w,w')，期间计算验证集上的loss数值从而适时终止训练过程以避免过学习。
[0139]
步骤6.利用已训练好的onn
‑
scss模型实现语音分离，其步骤如下：
[0140]
步骤6.1.将待分离的混合语音的幅度谱矩阵m输入训练好的onn
‑
scss模型，得到模型分离层的输出s＝{s1,s2...s
n
}；
[0141]
步骤6.2.设置计数器m＝1；
[0142]
步骤6.3.将s
m
输入解码层，得到解码层的输出，记为dm
m
；
[0143]
步骤6.4.计算第m个源语音的掩模值mask
m
：
[0144][0145]
这里的运算为对元素进行运算；
[0146]
步骤6.5.根据混合语音的复频表示sr，结合mask
m
计算第m个源语音的复频表示，记为esr
m
：
[0147]
esr
m
＝sr
×
mask
m
ꢀꢀ
(9)
[0148]
这里的运算为对应元素的运算。
[0149]
步骤6.6.对esr
m
做istft(逆短时傅里叶变换)获得第m个源语音的估计，作为从混合语音中分离出来的第m个源语音信号；
[0150]
步骤6.7.计数器m＝m 1；若计数器m>n，结束；否则转步骤6.3.
[0151]
下面以对由两源语音混合后的混合语音进行分离为例说明本发明的效果。
[0152]
步骤1设混合语音信号由2个源语音信号混合而成。将其进行混合形成混合语音信号，混合语音的snr(信噪比)取值范围为[
‑
5,5]db；将源语音信号、混合语音信号划分为训练集、验证集和测试集。
[0153]
步骤2对混合语音信号进行stft(短时傅里叶变换)，得到其复频表示矩阵sr并提取其幅度谱矩阵m，其中stft参数为窗长为256的汉明窗，步长为 128。
[0154]
步骤3构建稀疏正交网络(onn
‑
scss)模型，该模型包含编码层、分离层、汇集操作和解码层，具体如下：
[0155]
步骤3.1幅度谱矩阵m经编码层映射到特征空间，获得混合语音的特征表示：
[0156]
f＝lstm(m)
ꢀꢀ
(1)
[0157]
其中，f是编码层的输出，编码层的输入是129维，输出是256维，激活函数为relu；
[0158]
步骤3.2利用分离层对f进行分离，分离层有n个通道，第i个通道的输出 s
i
＝[s
i,1
,s
i,2
...s
i,r
]为该分离层的连接权w
i
乘f：
[0159]
s
i
＝w
i
f i＝1,2...n
ꢀꢀ
(2)
[0160]
其中r＝512，s
i
是第i个源语音的特征表示，w
i
表示分离层中s
i
对应连接权是一个行为256，列为512的矩阵；
[0161]
步骤3.3对所有通道的输出进行汇集操作：
[0162][0163]
步骤3.4利用解码层对汇集操作的结果c进行解码：
[0164]
dm＝decode(c)
ꢀꢀ
(4)
[0165]
其中dm是解码层的输出，解码层为三层的全连接层，输出维度分别为512、 256、129，激活函数都是relu。
[0166]
步骤4为使混合语音中不同的源语音在分离层中能映射到不同的子空间中，对onn
‑
scss模型的分离层参数w＝{w1,w2...w
n
}进行正交性与稀疏性约束，具体如下：
[0167]
步骤4.1正交性约束：即源语音1与源语音2的特征子空间的基尽可能正交，即对于i≠j：
[0168]
orth＝|w
1t
w2|
ꢀꢀ
(5)
[0169]
其中，w
i
表示分离层第i通道的连接权矩阵，乘法是矩阵乘法，绝对值是对应元素的绝对值；orth
i,j
中的每个元素都尽可能小，这里w
i
表示分离层第i通道的连接权矩阵，乘法是矩阵乘法，绝对值是对应元素的绝对值。orth
i,j
中的每个元素都尽可能小，意味着源语音1的特征子空间每一个基尽可能不被源语音2 的特征子空间的基线性表达。
[0170]
步骤4.2稀疏性约束：同一源语音尽可能只在一个通道上有表达：
[0171][0172]
这里的所有运算均为对应元素的运算。
[0173]
步骤5训练onn
‑
scss模型，其具体细节如下：
[0174]
步骤5.1构建onn
‑
scss模型
p.performance based cost functions forend
‑
to
‑
end speech separation[c]//2018asia
‑
pacific signal and informationprocessingassociationannual summit and conference(apsipaasc).2018.]，其结果见表1。
[0195]
表1本发明方法与复现的pit算法比较
[0196]
methodsdrsirstoipesqpit
‑
lstm[10]5.5910.240.541.65pit
‑
blstm[10]7.5815.250.471.65onn
‑
scss11.6518.250.782.57
[0197]
在语音分离中还有一种不以估计掩模与理想掩模的误差作为训练目标的算法，而是采用尺度不变的信噪比(scale invariant signal to noise ratio，si
‑
snr) 作为训练目标的算法。本发明采用文献给出的性能评价指标包括：尺度不变的信噪比提升值(scale invariant signal to noise ratio improvement，si
‑
snri)和信号相干比提升值(signal to distortion ratio improvement，sdri)其结果见表2。
[0198]
表2 si
‑
snr为目标的方法的性能比较
[0199]
methodsi
‑
snrisdritasnet[9]7.78.0dpcl [13]10.8
‑
danet[14]10.5
‑
adanet[15]10.410.8blstm
‑
tasnet[16]10.811.1onn
‑
scss11.611.9
[0200]
表中的算法本发明没有复现，而是采用文献中给出的实验结果，从文献给出的信息可以了解到，上述文献采用的数据集和生成混合语音的方法与本发明一致。
[0201]
从表1，表2可以看到，本发明算法在华尔街(wall street journal)两说话人混合数据集上的分离性能在上述6个指标上都由提升。
[0202]
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用全部或部分地以计算机程序产品的形式实现，所述计算机程序产品包括一个或多个计算机指令。在计算机上加载或执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(dsl)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输)。所述计算机可读取存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，dvd)、或者半导体介质(例如固态硬盘solid state disk(ssd))等。
[0203]
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所
作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。