信号处理系统及其信号降噪的判定方法与信号补偿方法与流程

1.本发明涉及有关信号处理，特别是关于一种信号处理系统及其信号降噪的判定方法与信号补偿方法。


背景技术：

2.网络监视器(internet protocol camera或ip cam)是数字摄影机的一种，藉由因特网以传送影像数据，可用于监视或其他应用。网络监视器除了传送影像数据，也可同时传送声音数据。
3.网络监视器的声音数据可用以提供额外的服务，例如用于侦测婴儿的哭声。在一应用例中，使用深层类神经网络(例如卷积神经网络(convolutional neural network,cnn))训练一个声音的模型(model)，据以后续进行声音辨识。作为训练用的数据集(dataset)，通常是未经过降噪(noise reduction)处理的。然而，当进行声音辨识时，很多麦克风在撷取声音时则会进行降噪。因此，使用这类麦克风的网络监视器，其声音辨识率有降低的现象。
4.因此亟需提出一种新颖的机制，用以避免传统网络监视器的缺失，以提高声音辨识率。


技术实现要素：

5.为解决现有技术中的技术问题，本文实施例提供了一种信号处理系统及其信号降噪的判定方法与信号补偿方法。
6.本发明实施例的目的之一在于提出一种信号降噪的判定方法与信号补偿方法，用以判定信号是否经过降噪处理，并根据判定结果对信号进行补偿。
7.根据本发明实施例的信号降噪的判定方法，转换信号以产生时频谱。判定时频谱当中每一行的频谱是否具急剧变化。计数具急剧变化的行数目，并与预设值做比较。若具急剧变化的行数目大于预设值，表示信号经过降噪。
8.本发明实施例的目的之一在于提出一种信号补偿方法，包含：
9.根据补偿前的信号，以得到补偿前的所述信号的能量直方图，其相应一第一标准偏差；
10.根据加入噪声的所述信号，以得到加入噪声的所述信号的能量直方图，其相应一第二标准偏差；
11.比较所述第二标准偏差与所述第一标准偏差，以得到增加比例值；及
12.若所述增加比例值未介于一预设范围，则调整加入的噪声并得到一新的增加比例值，直到所述新的增加比例值介于所述预设范围。
13.本发明实施例的目的之一在于提出一种信号处理系统，包含：
14.一换能器，将一物理量转换为信号；
15.一信号处理器，执行以下步骤：
16.转换所述信号以产生一时频谱；
17.判断所述时频谱当中每一行的频谱是否具急剧变化；及
18.计数具急剧变化的行数目，并与一预设值做比较，其中若具急剧变化的行数目大于所述预设值，表示所述信号经过降噪；
19.一噪声源，提供一噪声；及
20.一合成器，将所述噪声加入经过降噪的所述信号，以得到一补偿信号。
21.通过本发明实施例的方法及系统，可以判断不同来源的声音信号各自是否经过降躁处理，并分别对经过降躁处理的声音信号进行补偿，进一步地提高使用单一种声音辨识方法辨识不同音源的声音辨识率。
附图说明
22.为了更清楚地说明本文实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本文的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
23.图1显示本发明实施例的声音补偿方法的流程图；
24.图2显示本发明实施例的声音补偿系统的框图；
25.图3a例示声音信号的强度时序图；
26.图3b例示于声音信号的时序图当中，每隔预设期间取其平均强度；
27.图3c显示经与预设强度比较后所得到含有声音的区段；
28.图3d例示声音信号的声谱图；
29.图4显示图1步骤15的细部流程图；
30.图5a例示目前行的频谱；
31.图5b至图5c例示局部放大频谱；
32.图5d例示波谷点与波峰点的配对；
33.图5e例示目前行存在有配对，其斜率大于预设斜率值；
34.图6显示图1步骤17的细部流程图；
35.图7a例示补偿前的能量直方图；
36.图7b例示补偿后的能量直方图。
具体实施方式
37.下面将结合本文实施例中的附图，对本文实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本文一部分实施例，而不是全部的实施例。基于本文中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本文保护的范围。
38.图1显示本发明实施例的声音补偿方法100的流程图，可适用于声音辨识(recognition)的应用，例如深层类神经网络(deep neural network)的声音辨识。图2显示本发明实施例的声音补偿系统200的框图。本实施例虽以声音补偿作为例示，然而本发明可普遍适用于其他种类(电子)信号(例如影像信号)的补偿。
39.于步骤11，使用换能器(transducer)，将物理量(physical quantity)转换为电子信号。在本实施例中，使用麦克风21，将声波(sound wave)转换为声音信号。在一实施例中，麦克风21设于网络监视器22，用以侦测婴儿哭声。如果已知麦克风21于接收声音时会进行降噪(可为被动降噪或主动降噪)，则流程进入步骤17以进行信号补偿，否则执行步骤12～16以进行信号降噪的判定。
40.于步骤12，使用记录器(recorder)对信号进行取样与模拟-数字转换，以利信号处理器25进行后续处理且能储存于储存装置24。在本实施例中，声音记录器(soundrecorder)23记录麦克风21所转换的声音信号，亦即，对声音信号进行取样与模拟-数字转换。图3a例示声音信号的强度(或振幅)时序图，其纵轴代表信号强度，横轴代表时间。
41.于步骤13，信号处理器25接收并处理声音信号，以找出含有声音的区段，并舍弃未含有声音的区段。在本说明书中，含有声音的区段指该区段的声音信号的强度大于预设强度。本实施例找出含有声音的区段，有利后续判别麦克风21于接收声音时是否进行降噪。
42.在一实施例中，于声音信号的时序图当中，每隔预设期间(例如100毫秒)取其平均强度，再与预设强度作比较，强度大于预设强度者判定为含有声音的区段。图3b例示于声音信号的时序图当中，每隔预设期间取其平均强度。在本实施例中，信号强度的单位为全量程相对分贝(decibel relative to full scale,dbfs)，0代表最大强度。于图3b所例示时序图当中，预设强度31为-35dbfs，大约相当于一般的交谈声量。图3c显示经与预设强度比较后所得到含有声音的区段32。
43.于步骤14，信号处理器25转换(含有声音区段的)声音信号以产生时频谱(spectrogram)，在本实施例中为声谱图(sonograph)，其代表声音信号的频谱相对于时间的关系。图3d例示声音信号的声谱图，其纵轴代表频率，横轴代表时间，每一点(pixel)的亮度则相应于能量强度的大小(例如，能量强度愈大则点愈亮)。在本实施例中，声谱图的时间的单位使用行(frame)表示，其根据信号的取样频率而得到。鉴于人耳对赫兹(hz)频率的感知并非呈线性关系，因此在本实施例中，频率的单位系使用梅尔频率(mel frequency)f
mel
，使得人耳对频率的感知可呈线性关系。梅尔频率f-mel
与赫兹(hz)频率f
hz
的关系可表示为：f
mel
＝2595xlog
10
(1 f
hz
/700)。
44.于步骤15，信号处理器25判断声谱图当中每一行(frame)的频谱是否具急剧变化(sharp change)，用以判别麦克风21于接收声音时是否进行降噪。在本实施例中，每一行的频谱若具有至少一信号斜率大于预设斜率值，则该行判定为具急剧变化。在另一实施例中，每一行的频谱若具有至少二信号斜率大于预设斜率值，则该行判定为具急剧变化。概括而言，对于每一行的频谱，若信号斜率大于预设斜率值的数目等于或大于预设阀值，则该行判定为具急剧变化。
45.图4显示图1的步骤15的细部流程图。于步骤151，根据目前行(frame)的频谱，将能量强度予以排序。图5a例示目前行的频谱，其纵轴代表能量强度，横轴代表频率。例如，将能量强度由小至大排序后可得到[-80,-80,-78.5,
…
,-21,-20,-16]。图5a中的频谱为时频谱(图3d)的其中一行(frame)的频谱。
[0046]
接着，于步骤152，根据复数个(例如排序后的前10％)最小能量强度，取其平均值作为波谷阀值51(图5a)；根据复数个(例如排序后的后20％)最大能量强度，取其平均值作为波峰阀值52(图5a)。
[0047]
于步骤153，根据波谷阀值51，于频谱(如图5a所示)当中决定波谷点。如图5b所示局部放大频谱，于波谷阀值51转折处，最后一个小于波谷阀值51者为波谷点53。根据波峰阀值52，于频谱当中决定波峰点。如图5c所示局部放大频谱，于波峰阀值52转折处，第一个大于波峰阀值52者为波峰点54。
[0048]
于步骤154，将相邻波谷点53与波峰点54配对。图5d例示波谷点53与波峰点54的配对55，其中波谷点53位波峰点54的左侧。
[0049]
于步骤155，判定每一配对55当中波谷点53与波峰点54连线的斜率。接着，于步骤156，判断目前行中斜率大于预设斜率值的配对55数目是否等于或大于预设阀值。如果步骤156的判断为肯定，则表示目前行具急剧变化(步骤157)，否则表示目前行不具急剧变化(步骤158)。图5e例示目前行存在有一配对55，其斜率大于预设斜率值(其相当于75度)。对于声谱图的每一行(或部分行)，重复执行上述步骤151至157。
[0050]
回到图1，于步骤16，计数具急剧变化的行(frame)数目，并与预设值作比较。如果具急剧变化的行数目大于预设值(例如大于全部的二分之一)，表示麦克风21于接收声音时确实进行降噪，则流程进入步骤17，用以对声音信号进行补偿。
[0051]
于步骤17，使用合成器26将麦克风21所转换的声音信号与噪声源27所提供的噪声予以相加，以得到补偿信号。在本实施例中，噪声源27提供加成性高斯白噪声(additive white gaussian noise,awgn)，其能量密度在整个频域内均匀分布。在本实施例中，根据信噪比(snr)以决定所加入噪声的比例。信噪比愈高，表示加入的噪声能量愈低；反之，信噪比愈低，表示加入的噪声能量愈高。
[0052]
图6显示图1的步骤17的细部流程图。首先，于步骤171，根据补偿前的声谱图(如图3d所例示)以得到补偿前的相应能量直方图。图7a例示补偿前的能量直方图，其横轴代表能量强度，纵轴代表点(pixel)数。在一实施例中，根据声谱图，于每一个能量区间(例如5db)，计数其相应点的数目，据以得到能量直方图。于步骤172，根据加入噪声后的声谱图，以得到相应的能量直方图。
[0053]
于步骤173，比较补偿前的能量直方图的标准偏差与加入噪声后的能量直方图的标准偏差。如果加入噪声后的(第二)标准偏差相较于补偿前的(第一)标准偏差的增加比例值(percentage increase)介于预设范围(例如7-13％)内，则结束声音信号的补偿；否则，调整噪声源27的噪声(步骤174)，回到步骤172，重新得到相应能量直方图及标准偏差。
[0054]
图7b例示补偿后的能量直方图，其标准偏差为2515。相较于图7a所示补偿前的能量直方图(其标准偏差为2277)，补偿后的标准偏差相较于补偿前的标准偏差的增加比例值为10.4％，其介于预设范围(7-13％)内。
[0055]
以上所述仅为本发明的较佳实施例而已，并非用以限定本发明的申请专利范围；凡其它未脱离发明所揭示的精神下所完成的等效改变或修饰，均应包含在申请专利范围内。
[0056]
【符号说明】
[0057]
100:声音补偿方法
[0058]
11:判断麦克风是否降噪
[0059]
12:记录声音信号
[0060]
13:找出含有声音的区段
[0061]
14:产生声谱图
[0062]
15:判断声谱图每一行的频谱是否具急剧变化
[0063]
151:将目前行的能量强度予以排序
[0064]
152:得到波谷阀值与波峰阀值
[0065]
153:根据阀值以决定波谷点与波峰点
[0066]
154:将相邻波谷点与波峰点配对
[0067]
155:判定配对的斜率
[0068]
156:判断斜率大于预设斜率值的配对数目是否等于或大于预设阀值
[0069]
157:具急剧变化
[0070]
158:不具急剧变化
[0071]
16:判断具急剧变化的行数是否大于预设值
[0072]
17:对声音信号进行补偿
[0073]
171:得到补偿前的能量直方图
[0074]
172:得到加入噪声后的能量直方图
[0075]
173:判断标准偏差增加比例值是否介于预设范围
[0076]
174:调整噪声
[0077]
200:声音补偿系统
[0078]
21:麦克风
[0079]
22:网络监视器
[0080]
23:声音记录器
[0081]
24:储存装置
[0082]
25:信号处理器
[0083]
26:合成器
[0084]
27:噪声源
[0085]
31:预设强度
[0086]
32:含有声音的区段
[0087]
51:波谷阀值
[0088]
52:波峰阀值
[0089]
53:波谷点
[0090]
54:波峰点
[0091]
55:配对