语音提取方法、装置、设备和存储介质与流程

1.本发明涉及音频信号处理技术领域，尤其涉及一种语音提取方法、装置、设备和存储介质。


背景技术：

2.目前，远距离拾音的应用需求非常广泛。例如某些监控场景下需要秘密拾音。但当前的远距离拾音技术还无法达到近距离拾音的效果。
3.相关技术中，利用麦克风阵列技术，设计指向多个方位角的固定波束，并跟踪各个波束内的能量最小值。综合各个波束能量的最小值跟踪的结果，检测出声源所在的目标波束。接着，利用波束形成算法抑制环境噪声从而提取语音输出信号，然而在远距离、低信噪比的场景下，仅根据各个波束能量的最小值对目标波束的估计容易出现错误，并导致提取的语音输出信号的质量不高。


技术实现要素：

4.本发明提供一种语音提取方法、装置、设备和存储介质，以提高语音提取质量。
5.第一方面，本发明提供一种语音提取方法，包括：
6.获取目标声源处的图像；
7.根据所述目标声源在所述图像中的像素位置，确定所述目标声源的波达方向doa；
8.根据所述doa，以及预设的n个波束的输出信号，提取目标声源的语音输出信号；所述n个波束是以麦克风阵列为基准而预设的具有不同指向的各个波束，n≥2。
9.第二方面，本发明提供一种语音提取装置，包括：
10.获取模块，用于获取目标声源处的图像；
11.确定模块，用于根据所述目标声源在所述图像中的像素位置，确定所述目标声源的波达方向doa；
12.处理模块，用于根据所述doa，以及预设的n个波束的输出信号，提取目标声源的语音输出信号；所述n个波束是以麦克风阵列为基准而预设的具有不同指向的各个波束，n≥2。
13.第三方面，本发明实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现第一方面中任一项所述的方法。
14.第四方面，本发明实施例提供一种电子设备，包括：
15.处理器；以及
16.存储器，用于存储所述处理器的可执行指令；
17.其中，所述处理器配置为经由执行所述可执行指令来执行第一方面中任一项所述的方法。
18.本发明实施例提供的语音提取方法、装置、设备和存储介质，获取目标声源处的图像；根据所述目标声源在所述图像中的像素位置，确定所述目标声源的波达方向doa；根据
所述doa，以及预设的n个波束的输出信号，提取目标声源的语音输出信号；所述n个波束是以麦克风阵列为基准而预设的具有不同指向的各个波束，n≥2，在语音信号的信噪比较低的情况下，特别是远距离悄悄话的情景下，根据目标声源处的图像的信息，确定目标声源的波达方向doa，可以提高doa估计的准确性，进而根据doa提取目标声源的语音输出信号，能够提高提取的语音信号的质量。
附图说明
19.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
20.图1为本发明一实施例提供的原理实现示意图；
21.图2是本发明提供的语音提取方法一实施例的流程示意图；
22.图3是本发明提供的方法一实施例的波束形成示意图；
23.图4是本发明提供的方法一实施例的成像原理示意图；
24.图5是本发明提供的方法另一实施例的流程示意图；
25.图6是本发明提供的语音提取装置一实施例的结构示意图；
26.图7是本发明提供的电子设备实施例的结构示意图。
27.通过上述附图，已示出本公开明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本公开构思的范围，而是通过参考特定实施例为本领域技术人员说明本公开的概念。
具体实施方式
28.这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
29.本发明的说明书和权利要求书及所述附图中的术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
30.首先对本发明所涉及的名词和应用场景进行介绍：
31.麦克风阵列：按照一定几何形状排列的多个麦克风。通常每个麦克风是无指向的，而且各麦克风之间的频率响应具有较好的一致性。
32.波达方向(direction of arrival，简称doa)：平面波到达麦克风阵列的方向。通过测量辐射信号的波达方向来估测辐射源的位置。
33.波束形成：对多个麦克风输出的音频信号做加权求和，并得到增强的语音信号。
34.散射噪声：在各个方向功率相等的噪声场。
35.语音活动性检测(voice activity detection，简称vad)算法：检测某段音频是否包含人类的语音活动。
36.本发明实施例提供的方法，应用于智能监控系统中，例如对声音进行监控，特别是
远距离悄悄话的场景下，以提高语音提取的质量。该监控系统中可以包括图像采集组件、声音采集组件以及处理器芯片，其中，上述图像采集组件、声音采集组件以及处理器芯片可以集成在一个设备或多个设备上。
37.其中，图像采集组件例如包括：镜头、图像传感器，声音采集组件例如可以是麦克风阵列，包括至少两个麦克风。麦克风阵列的排列方式可根据需求设定，例如环形，多边形，螺旋形等。
38.如图1所示，图像采集组件例如为摄像头1，麦克风阵列包括4个麦克风2，麦克风阵列按照圆形阵列设置，摄像头和麦克风阵列通过固定部件3固定。
39.本发明实施例的方法，通过采集的图像数据，确定当前的场景模式，若在悄悄话模式下，则根据图像数据，估计doa，准确性较高，进而根据估计的doa通过不同指向的波束的输出信号，提取目标声源的语音输出信号。
40.下面以具体的实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
41.图2是本发明提供的语音提取方法一实施例的流程示意图。如图1所示，本实施例提供的方法，包括：
42.步骤101、获取目标声源处的图像。
43.根据图像采集组件采集的图像信息，判断当前是否有人说悄悄话，一般悄悄话伴随着比较明显的肢体动作特征，如交头接耳等。例如，在图像中检测到相邻两个人脸的距离非常靠近，则此二人说悄悄话的可能性比较大。
44.图像采集组件可采集当前场景下不同位置、不同角度的多张图像，根据采集的图像，定位出目标声源。
45.假设人脸检测算法一共检测出n张人脸，且人脸区域中心点的像素位置分别为(x
i
,y
i
),i＝1,2,...,n。根据相邻人脸在一幅图像中的像素距离，可以判断二人是否在用悄悄话交流。
46.在一种实现方式中，可以确定所述图像中相邻人脸之间的像素距离；
47.若所述像素距离小于预设阈值，则执行步骤102的操作。
48.相邻人脸之间的像素距离，可通过如下方式确定：
49.确定所述图像中相邻人脸的中心点的像素位置；
50.根据所述图像中相邻人脸的中心点的像素位置，确定所述相邻人脸之间的像素距离。
51.具体而言，相邻的第i个和第j个人脸之间的像素距离可以表示为在其他实施例中，像素距离还可以通过其他方式计算，本技术对此并不限定。
52.当相邻人脸的区域中心点的像素距离低于一个预先设定的阈值ε时，可判断此二人的头部非常靠近，且极有可能正在用悄悄话的方式交流。此时，可采用悄悄话模式进行语音提取。所述的判决过程可以表示为：
53.54.indicator取值为1表明触发悄悄话模式；取值为0则触发普通模式。
55.步骤102、根据目标声源在图像中的像素位置，确定目标声源的波达方向doa。
56.具体的，假设检测到相邻的第i个和第j个人脸距离较近且触发悄悄话模式，则此时目标声源在图像中的像素位置可通过如下方式确定：
57.根据图像的相邻人脸中每个人脸的中心点的像素位置，确定目标声源在图像中的像素位置；相邻人脸之间的距离小于预设阈值。
58.在一种实现方式中，可以将图像的相邻人脸的两个中心点的中心位置，确定为所目标声源在图像中的像素位置。
59.或者，在其他方式中还可以将相邻人脸中任一人脸的中心点的像素位置，作为目标声源在图像中的像素位置。或，将相邻人脸的两个中心点之间的其他像素位置作为目标声源在图像中的像素位置，本技术对此并不限定。
60.例如可通过如下公式计算目标声源在图像中的像素位置(x
s
,y
s
)：
61.(x
s
,y
s
)＝((x
i
x
j
)/2,(y
i
y
j
)/2)
62.进而根据目标声源在图像中的像素位置，确定目标声源的doa，例如利用成像原理，根据目标声源在图像中的像素位置以及目标声源的空间位置的几何关系，确定目标声源的doa。
63.综上，在悄悄话模式，语音信噪比较低，若利用普通的声源定位算法估计doa，结果不准确，而本技术实施例中利用目标声源对应的图像，确定doa，结果较为准确。
64.步骤103、根据doa，以及预设的n个波束的输出信号，提取目标声源的语音输出信号；n个波束是以麦克风阵列为基准而预设的具有不同指向的各个波束，n≥2。
65.具体的，确定出doa之后可以基于doa的结果，通过波束形成来实现噪声的抑制，并提取语音输出信号。
66.如图3所示，按照方位角，可以将空间划分为n个区域，区域中心角为l取值为1-n，n例如为6，图3中麦克风阵列包括四个麦克风，采用环形阵列，通过确定n个波束对应的权重，进而确定目标声源对应的目标波束，并提取语音输出信号。
67.本实施例的方法，获取目标声源处的图像；根据所述目标声源在所述图像中的像素位置，确定所述目标声源的波达方向doa；根据所述doa，以及预设的n个波束的输出信号，提取目标声源的语音输出信号；所述n个波束是以麦克风阵列为基准而预设的具有不同指向的各个波束，n≥2，在语音信号的信噪比较低的情况下，特别是远距离悄悄话的情景下，根据目标声源处的图像的信息，确定目标声源的波达方向doa，可以提高doa估计的准确性，进而根据doa提取目标声源的语音输出信号，能够提高提取的语音信号的质量。
68.在上述实施例的基础上，在另一实施例中，步骤102确定目标声源的doa，可以通过如下方式实现：
69.根据目标声源在图像中的像素位置，图像采集组件中镜头与图像传感器的距离，镜头的中心点在图像中的像素位置，图像传感器中相邻的感光元件之间的距离，确定目标声源的doa。
70.如图4所示，假设镜头与图像传感器的距离为f1，镜头的中心点对应的像素位置为(x0,y0)，相邻的感光元件之间的距离为δd，则目标声源对应的俯仰角可以通过如下公式计算：
[0071][0072]
在其他实施例中还可以通过该公式的其他变形计算，另外可采用类似方法获得目标声源的方位角从而得到doa。
[0073]
如图5所示，基于音频的doa估计，容易受到信噪比等因素的影响，而视频信号不受语音信噪比的影响。因此，如果触发普通模式(图像中相邻人脸之间的像素距离大于预设阈值)，说明语音信号的信噪比较高，可以采用传统的声源定位算法(如srp，music等)获得目标声源的doa。如果触发悄悄话模式(图像中相邻人脸之间的像素距离小于预设阈值)，说明信噪比较低，可以采用上述实施例中的方式估计声源的doa，即根据图像的像素信息获取目标声源在真实空间对应的doa。
[0074]
在普通模式下，语音信号的信噪比较高，利用vad判断是否有语音活动；若无语音，则输出麦克风阵列采集的原始波形；否则，根据声源定位算法估计doa并构造波束形成器，抑制环境噪声，提取语音输出信号。
[0075]
进而，根据噪声分布和doa信息，得到n个波束的权重，提取目标声源的语音输出信号。
[0076]
在一实施例中，步骤103可以通过如下方式实现：
[0077]
根据doa，确定n个波束对应的权重；
[0078]
根据所述n个波束对应的权重以及所述麦克风阵列接收的语音信号，确定n个波束的输出信号；
[0079]
根据n个波束的输出信号，获取目标声源的语音输出信号。
[0080]
具体的，根据前述实施例中计算的doa值，计算n个波束的权重，提取目标语音。下面以散射噪声为例，介绍一种可行的提取语音信号的实现方案。
[0081]
具体过程详述如下：
[0082]
散射噪声在空间中均匀分布，这意味着：以麦克风阵列为参考点，各个方向的噪声功率相等。假设麦克风数目为m，对于散射噪声场，在频率f处，通道i和通道j的相关系数可以计算为：
[0083][0084]
l
ij
表示通道i和j的直线距离，c表示声速，ω
ij
(f)表示协方差矩阵ω(f)第i行，第j列对应的元素。其中，通道i为第i个麦克风对应的通道；通道j为第j个麦克风对应的通道。
[0085]
在一实施例中，根据协方差矩阵，以及n个波束对应的导向矢量，确定n个波束对应的权重。
[0086]
其中，可以根据doa包括的俯仰角，以及n个波束各自对应的空间区域的中心方位角，确定n个波束对应的导向矢量。
[0087]
假设某个波束对应的doa为具体可以通过计算麦克风阵列中各个麦克风相对于参考麦克风的延时。
[0088]
n个波束的导向矢量可以为：其中表示第i个麦克风相对于参考麦克风的延时，由声源方位和阵列形状唯一确定。参考麦克风为m个麦克
风中的一个，例如最先接收的语音信号的麦克风。
[0089]
权重w
l
(f)例如可以通过如下公式计算：
[0090][0091]
将w
l
(f)作用于输入的多通道的音频数据(即m个麦克风接收到的语音信号向量)，即可实现对目标语音的增强和对环境噪声的抑制。
[0092]
假设在某时频点(t,f)处，麦克风阵列的接收的语音信号的矢量为x(t,f)，n个波束的输出信号分别表示为y
l
(t,f)＝w
l
(f)x(t,f),l＝1,2,...,n。然后通过n个波束的输出信号，获取目标声源的语音输出信号，例如通过目标声源的doa，确定n个波束中的目标波束，进而获取目标波束的输出信号。进一步的，还可以对目标波束的输出信号进行增强，例如乘以某一增益，该增益可以是固定的预设值，或通过其他方式计算得到的。
[0093]
其中，x(t,f)可以是通过分帧并进行频域变换处理后的信号矢量，例如通过短时傅里叶变换进行处理。
[0094]
本实施例的方法，由于doa估计的准确性，进而根据doa，确定n个波束对应的权重；根据所述n个波束对应的权重以及所述麦克风阵列接收的语音信号，确定n个波束的输出信号；根据n个波束的输出信号，获取目标声源的语音输出信号，能够提高提取的语音信号的质量。
[0095]
上述方案复杂度低且易于实现，但是对doa的估计精度要求较高，在其他实施例中，为了提高算法的稳定性，可以采用如下方式确定权重：
[0096]
根据对角加载后的协方差矩阵，以及n个波束对应的导向矢量，确定n个波束对应的权重；协方差矩阵表示频点为f的散射噪声基于麦克风阵列的协方差矩阵。
[0097]
例如可以通过如下公式确定
[0098]
ω
ε
(f)＝ω(f) ε
·
i
[0099]
其中，对角加载系数ε，控制着波束器的白噪声增益和波束宽度。考虑doa误差和麦克风失配等因素，需要选择ε使得波束具有良好的白噪声增益和合适的波束宽度。ε可以是根据实际需求确定的。
[0100]
按照方位角可以将空间划分为n
b
个区域，区域中心角为分别对应n
b
个波束形成器假设在某时频点(t,f)处，麦克风阵列的接收信号矢量为x(t,f)，则n
b
个波束的输出可表示为y
i
(t,f)＝w
i
(f)x(t,f),i＝1,2,...,n
b
。
[0101]
在一实施例中，为了提高提取的目标语音的质量，可以采用如下方式实现：
[0102]
根据目标声源对应的目标波束的输出信号，以及n个波束的输出信号，确定目标波束存在目标声源的语音的概率；目标波束为n个波束的一个波束；
[0103]
根据目标波束存在语音的第一后处理增益、目标波束不存在语音的第二后处理增益以及概率，确定第三后处理增益；
[0104]
根据第三后处理增益确定目标声源的语音输出信号。
[0105]
具体的，假设目标波束中语音不存在的第二后处理增益为预设的固定值g
min
，语音存在的第一后处理增益为g
s
，其中，g
s
可通过经典降噪算法得到，则总的第三后处理增益可
计算为：其中，p表示目标波束存在目标声源的语音的概率。
[0106]
一般而言，如果某个波束的能量值较大，则目标声源的语音位于该波束的可能性较大，即语音存在概率p(t,f)与各波束能量大小的关联性极高。假设目标声源的doa值对应的目标波束的方位角为则在时频点(t,f)处，目标波束存在语音的概率可以通过如下公式计算：
[0107][0108]
最终的语音输出信号可以为y
o
(t,f)＝g
·
y
s
(t,f)。
[0109]
本实施例的方法，根据目标声源对应的目标波束的输出信号，以及n个波束的输出信号，确定目标波束存在目标声源的语音的概率；目标波束为n个波束的一个波束；根据目标波束存在语音的第一后处理增益、目标波束不存在语音的第二后处理增益以及概率，确定第三后处理增益；根据第三后处理增益确定目标声源的语音输出信号，能够进一步提高提取的语音信号的质量。
[0110]
图6为本发明提供的语音提取装置一实施例的结构图，如图6所示，本实施例的语音提取装置，包括：
[0111]
获取模块601，用于获取目标声源处的图像；
[0112]
确定模块602，用于根据所述目标声源在所述图像中的像素位置，确定所述目标声源的波达方向doa；
[0113]
处理模块603，用于根据所述doa，以及预设的n个波束的输出信号，提取目标声源的语音输出信号；所述n个波束是以麦克风阵列为基准而预设的具有不同指向的各个波束，n≥2。
[0114]
在一种可能的实现方式中，所述确定模块602，具体用于：
[0115]
确定所述图像中相邻人脸之间的像素距离；
[0116]
若所述像素距离小于预设阈值，则根据所述目标声源在所述图像中的像素位置，确定目标声源的波达方向doa的操作。
[0117]
在一种可能的实现方式中，所述确定模块602，具体用于：
[0118]
确定所述图像中相邻人脸的中心点的像素位置；
[0119]
根据所述图像中相邻人脸的中心点的像素位置，确定所述相邻人脸之间的像素距离。
[0120]
在一种可能的实现方式中，所述确定模块602，还用于：
[0121]
根据所述图像的相邻人脸中每个人脸的中心点的像素位置，确定所述目标声源在所述图像中的像素位置；所述相邻人脸之间的距离小于预设阈值。
[0122]
在一种可能的实现方式中，所述确定模块602，具体用于：
[0123]
将所述图像的相邻人脸的两个中心点的中心位置，确定为所述目标声源在所述图像中的像素位置。
[0124]
在一种可能的实现方式中，所述确定模块602，具体用于：
[0125]
根据所述目标声源在所述图像中的像素位置，图像采集组件中镜头与图像传感器的距离，所述镜头的中心点在所述图像中的像素位置，所述图像传感器中相邻的感光元件之间的距离，确定所述目标声源的doa。
[0126]
在一种可能的实现方式中，所述处理模块603，具体用于：
[0127]
根据所述doa，确定所述n个波束对应的权重；
[0128]
根据所述n个波束对应的权重以及所述麦克风阵列接收的语音信号，确定所述n个波束的输出信号；
[0129]
根据所述n个波束的输出信号，获取目标声源的语音输出信号。
[0130]
在一种可能的实现方式中，所述处理模块603，具体用于：
[0131]
根据所述目标声源对应的目标波束的输出信号，以及所述n个波束的输出信号，确定所述目标波束存在所述目标声源的语音的概率；所述目标波束为所述n个波束的一个波束；
[0132]
根据所述目标波束存在语音的第一后处理增益、所述目标波束不存在语音的第二后处理增益以及所述概率，确定第三后处理增益；
[0133]
根据所述第三后处理增益确定所述目标声源的语音输出信号。
[0134]
在一种可能的实现方式中，所述处理模块603，具体用于：
[0135]
根据所述doa包括的俯仰角，以及所述n个波束各自对应的空间区域的中心方位角，确定n个波束对应的导向矢量；
[0136]
根据对角加载后的协方差矩阵，以及所述n个波束对应的导向矢量，确定所述n个波束对应的权重；所述协方差矩阵表示频点为f的散射噪声基于所述麦克风阵列的协方差矩阵。
[0137]
在一种可能的实现方式中，所述处理模块603，用于：
[0138]
根据所述doa包括的方位角，以及所述n个波束各自对应的空间区域的中心方位角，确定所述目标声源对应的目标波束；
[0139]
根据所述目标声源对应的目标波束对应的权重，以及所述麦克风阵列接收的语音信号，确定所述目标声源对应的目标波束的输出信号。
[0140]
本实施例的装置，可以用于执行上述方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
[0141]
图7为本发明提供的电子设备实施例的结构图，如图7所示，该电子设备包括：
[0142]
处理器701、麦克风阵列702、图像采集组件703，其中，可选的，还可以包括存储处理器701的可执行指令的存储器。
[0143]
图像采集组件703用于采集图像。麦克风阵列702用于采集语音信号。
[0144]
上述部件可以通过一条或多条总线进行通信。
[0145]
其中，处理器701配置为经由执行所述可执行指令来执行前述方法实施例中对应的方法，其具体实施过程可以参见前述方法实施例，此处不再赘述。
[0146]
本发明实施例中还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现前述方法实施例中对应的方法，其具体实施过程可以参见前述方法实施例，其实现原理和技术效果类似，此处不再赘述。
[0147]
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本发明旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的
权利要求书指出。
[0148]
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求书来限制。