用于助听器的边缘计算与云计算相结合的语音增强方法与流程

1.本发明属于助听器噪声消除算法以及音频信号处理技术领域，具体涉及用于助听器的边缘计算与云计算相结合的语音增强方法。


背景技术：

2.听力损失是现今常见的几种慢性疾病之一，尤其多发于老年人。我国是世界上听力残疾人数最多的国家。据统计，我国的听力残疾人约2780万人，占全国残疾人的30％以上，而佩戴助听器是现阶段除药物治疗外最主要的治疗方式。
3.在助听器的使用过程中，会处于各种不同的环境中，助听器不可避免地会受到周边语音环境的影响，使得用户听到的语音信号的清晰度下降，极大地影响了助听器助听的功能。传统的助听器语音增强算法难以应对生活中较为常见的非平稳噪声,因此助听器的语音增强功能至关重要。


技术实现要素：

4.本发明的目的是针对现有技术中存在的技术缺陷，而提供一种用于助听器的边缘计算与云计算相结合的语音增强方法，将云计算与边缘计算相结合，用于数字助听器的语音增强。
5.为实现本发明的目的所采用的技术方案是：
6.一种用于助听器的边缘计算与云计算相结合的语音增强方法，包括步骤：
7.利用纯净语音数据与噪声数据，根据不同信噪比合成带噪语音，形成云计算用的语音数据；
8.利用云计算用的语音数据训练神经网络，通过不断优化网络结构与网络各层参数，得到语音增强网络；
9.将得到的语音增强网络应用于边缘设备助听器中进行边缘计算，获取实时语音预处理，输入语音增强网络，得到增益，然后将增益与带噪语音数据相运算，与带噪语音的相位进行波形重构输出增强后的语音数据。
10.其中，利用语音数据训练神经网络的数据处理方法如下：
11.对语音数据特征提取，包括对语音数据分帧、加窗处理，得到语音数据分帧、加窗后的时域采样点数据；对时域采样点数据进行梅尔通道数划分；
12.计算每个梅尔通道语音数据的对数能量与增益，并作为神经网络的输入与输出，对所述神经网络进行训练。
13.其中，所述增益的计算方法如下：
14.g＝(es/ey)
1/2
15.[0016][0017]
其中，g为增益，es为纯净语音的能量，ey为带噪语音的能量，y(t)为带噪语音的幅度，s(t)为纯净语音的幅度，y(t)为带噪语音的幅度,n为语音数据的长度。
[0018]
其中，所述梅尔通道数根据以下方法划分：
[0019]
mi＝2840*i/n，
[0020]
其中，n为总通道数；
[0021]
fs>＝2fmax，
[0022]
其中，fs为信号的采样率，语音最大频率fmax为8khz；
[0023]
m＝1127ln(1 f/700)，
[0024]
其中，f为语音频率，m为对应的音高，梅尔范围为0
‑
2840mel，将该梅尔范围按照频段数平均划分，得到梅尔边界向量[0,m1,m2....mi,2840]。
[0025]
其中，所述增强后语音数据获取公式如下：
[0026]
s(t)＝g
·
y(t)
[0027]
其中，g为增益，y(t)为带噪语音数据。
[0028]
本发明将边缘计算与云计算结合起来，由于分别训练不同噪声环境下的网络，因此可做到环境自适应，即不同环境下采用相同的网络结构，不同的网络参数，然后交由边缘端的神经网络处理，得出输出增益值，以便助听器进行语音降噪、语音识别等进一步语音处理。本发明还可记录边缘端接收到的语音进行上传到云端，有助于进一步改良网络的性能。
附图说明
[0029]
图1是本发明用于助听器的边缘计算与云计算相结合的语音增强方法的整体流程图。
[0030]
图2是本发明所用的云计算与边缘计算的系统结构示意图。
[0031]
图3是本发明的云计算结构示意图。
[0032]
图4是本发明的边缘计算结构示意图。
具体实施方式
[0033]
以下结合附图和具体实施例对本发明作进一步详细说明。
[0034]
本发明利用云计算平台构建一种计算力更强、处理复杂性更高的云训练平台，以解决现有助听器计算力不足、处理能力弱等问题，此外，将边缘计算应用于助听器，边缘计算将云训练效果最优秀的方法应用于助听器，其复杂性低，更加适用于助听器这样的实时处理设备。
[0035]
本发明用于助听器的边缘计算与云计算相结合的语音增强方法，其是通过将助听器接收到的语音信号进行预处理后，交由云端发送给边缘端的rnn循环神经网络进行运算，从而得出语音的增益值。
[0036]
如图1所示，本发明用于助听器的边缘计算与云计算相结合的语音增强方法，包括以下步骤：
[0037]
利用纯净语音数据与噪声数据，根据不同信噪比合成带噪语音，形成云计算用的
语音数据；
[0038]
利用云计算用的语音数据rnn循环训练神经网络，通过不断优化网络结构与网络各层参数，得到语音增强网络；
[0039]
将得到的语音增强网络应用于边缘设备助听器中进行边缘计算，边缘端获取助听器收集到实时语音预处理，输入rnn语音增强网络(即训练好的rnn循环训练神经网络)，得到增益，然后将增益与带噪语音数据相运算进行后处理，之后再将提取带噪语音的特征数据与带噪语音的相位进行波形重构，输出增强后的语音数据。
[0040]
使用时，将助听器收集到的语音数据预处理，提取特征后，输入到rnn循环训练神经网络计算相应的增益输出到，然后将增益与带噪语音数据相运算进行后处理，之后再将提取带噪语音的特征数据与带噪语音的相位进行波形重构，输出增强后的语音数据。
[0041]
本发明中，在云端是将语音数据经过预处理的特征提取后作为rnn循环神经网络的输入，语音的增益为输出，对rnn神经网络进行训练，并将训练完成后的rnn神经网络应用于数字助听器中。
[0042]
本发明中，所述的带噪语音数据，是由助听器所采集后传送云端以实现云计算使用。
[0043]
其中，利用语音数据rnn循环训练神经网络的数据处理方法如下：
[0044]
对语音数据特征提取，包括对语音数据分帧、加窗处理，得到语音数据分帧、加窗后的时域采样点数据；对时域采样点数据进行梅尔通道数划分；
[0045]
计算每个梅尔通道语音数据的对数能量与增益，并作为神经网络的输入与输出，对所述神经网络进行训练。
[0046]
本发明中，所述的助听器处于助听模式时，所述的助听器将不再依靠云计算，而是依赖于边缘计算，通过将助听器收集到的带噪语音数据作为输入，经过相应的特征提取的步骤，便能经过rnn循环神经网络算出增益，利用后处理，即将增益值与带噪语音数据相乘，与带噪语音的相位进行波形重构输出增强后的语音。其中，使用带噪语音的相位进行波形重构的原因是人耳对于相位信息的表现不敏感。
[0047]
其中，所述的增益(gain)的计算方法如下：
[0048]
g＝(es/ey)
1/2
[0049][0050][0051]
其中，g为增益，es为纯净语音的能量，ey为带噪语音的能量，s(t)为纯净语音的幅度，y(t)为带噪语音的幅度,n为语音数据的长度。
[0052]
其中，所述梅尔通道数根据以下方法划分：
[0053]
mi＝2840*i/n，
[0054]
其中，n为总通道数；
[0055]
fs>＝2fmax，
[0056]
其中，fs为信号的采样率，语音最大频率fmax为8khz；
[0057]
m＝1127ln(1 f/700)，
[0058]
其中，f为语音频率，m为对应的音高，梅尔范围为0
‑
2840mel，将该梅尔范围按照频段数平均划分，得到梅尔边界向量[0,m1,m2....mi,2840]。
[0059]
其中，所述增强后语音数据获取公式如下：
[0060]
s(t)＝g
·
y(t)
[0061]
其中，g为增益，y(t)为带噪语音数据。
[0062]
图2是本发明用于语音增强的云计算与边缘计算的系统结构示意图。如图2所示，由云计算进行网络的搭建与训练，之后发送给边缘计算；而边缘计算利用网络结构进行相应的语音增强，并把接受到的带噪语音数据发送到云端，便于网络的优化。
[0063]
图3是本发明用于语音增强的云计算结构示意图。如图3所示，神经网络分为输入层、隐藏层、输出层三层。云计算分为两个过程：前向传播与反向传播；表达式如下：
[0064]
y＝activation(w*x b)，
[0065]
式中，w为神经网络隐藏层的权重，b为偏置，activation为所使用的激活函数，y为前向传播的输出。反向传播即利用损失函数的导数来来寻找其最优值，损失函数越小，表明训练的网络性能越优秀。
[0066]
图4所示是本发明用于语音增强的边缘计算结构示意图。如图4所示，即带噪语音输入到预先训练好的网络中，计算出增强的语音增益。相比于云计算，边缘计算的复杂度明显更低、所需计算力更小，能够用于实时的助听器系统中。
[0067]
本发明将边缘计算与云计算运用于助听器语音增强算法中,由于将复杂的网络训练运用在云端，避免了高复杂度，使得算法具有低复杂性、实时性强的优势，此外，本发明采用环境自适应的语音增强，即分别训练不同噪声环境下的网络，这样可以大大提高语音增强的准确率，大大提升助听器使用者的使用体验。
[0068]
以上所述仅是本发明的优选实施方式，应当指出的是，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。