语音采集方法、设备及存储介质与流程

本申请涉及语音交互，尤其涉及一种语音采集方法、设备及存储介质。

背景技术：

1、随着语音交互技术在各类设备中的普及，用户对设备在复杂运行状态下的语音采集可靠性提出了更高要求。具备移动能力或包含运动部件的设备（如机器人、智能家居设备等）在执行语音采集时，其自身的机械运动、结构振动或部件运转会产生自噪声，该自噪声可通过结构传导路径耦合至麦克风通道，与目标语音信号叠加，导致语音采集质量下降。

2、现有语音采集方案中，通用降噪技术主要依赖音频信号自身的统计特性或多麦克风的空间差异进行噪声抑制，难以区分噪声来自外部环境还是设备自身结构振动；回声消除技术主要针对扬声器播放声的空气传播路径，无法有效处理通过设备结构传导的机械噪声；而单纯降低硬件的振动水平，同样难以消除设备运行中的自噪声。

技术实现思路

1、本申请的主要目的在于提供一种语音采集方法、设备及存储介质，旨在解决目前语音采集质量在设备自噪声影响下较差的技术问题。

2、为实现上述目的，本申请提出一种语音采集方法，所述语音采集方法包括：

3、获取至少一路麦克风通道采集的语音信号；

4、获取至少一路振动参考通道采集的振动参考信号，其中，所述振动参考信号用于表征设备自噪声；

5、确定所述语音信号与所述振动参考信号之间的耦合关系；

6、根据所述耦合关系，对所述语音信号的采集策略进行修正，并根据修正后的采集策略获得所述语音信号的采集结果。

7、在一实施例中，所述获取至少一路振动传感器通道采集的振动参考信号的步骤包括：

8、获取候选参考信号，其中，所述候选参考信号包括至少一路物理振动传感信号和/或至少一路设备状态信号；

9、对所述候选参考信号进行参考有效性判断，确定所述候选参考信号是否与所述设备自噪声存在关联；

10、将确定与所述设备自噪声存在关联的候选参考信号，作为所述振动参考信号。

11、在一实施例中，所述确定所述语音信号与所述振动参考信号之间的耦合关系的步骤之前，还包括：

12、将所述语音信号和所述振动参考信号进行时间对齐，以基于时间对齐的语音信号和振动参考信号，执行所述确定所述语音信号与所述振动参考信号之间的耦合关系的步骤。

13、在一实施例中，所述将所述语音信号和所述振动参考信号进行时间对齐的步骤包括：

14、基于所述语音信号的时间戳、所述振动参考信号的时间戳和预设的振动传递延迟，确定时间对齐偏移量；

15、根据所述时间对齐偏移量，对所述语音信号和所述振动参考信号进行时间窗口同步，得到所述时间对齐的语音信号和振动参考信号。

16、在一实施例中，所述耦合关系包括自噪声耦合分量和/或自噪声置信度，所述确定所述语音信号与所述振动参考信号之间的耦合关系的步骤包括：

17、在同步后的时间窗口内，确定所述语音信号与所述振动参考信号在多个频段上的耦合特性，其中，所述耦合特性包括相干性、相关性和/或同步强度；

18、在所述耦合特性满足预设的参考有效条件的情况下，确定所述麦克风通道和各所述频段的耦合参数，其中，所述耦合参数包括耦合权重和/或传递函数；

19、根据所述耦合参数，生成所述自噪声耦合分量和/或所述自噪声置信度。

20、在一实施例中，所述在同步后的时间窗口内，确定所述语音信号与所述振动参考信号在多个频段上的耦合特性的步骤包括：

21、在所述时间窗口内，对所述语音信号和所述振动参考信号分别进行分帧或分窗处理，得到各时间子窗内的语音子信号和振动子信号；

22、对各所述语音子信号和各所述振动子信号分别进行频域变换，得到各所述频段对应的频域分量；

23、根据各所述频域分量，确定所述耦合特性。

24、在一实施例中，所述根据所述耦合关系，对所述语音信号的采集策略进行修正的步骤包括：

25、根据所述耦合关系，对所述语音信号执行自噪声耦合成分抵消、频段抑制和波束形成权重调整中的至少一种，得到补偿后的语音信号；和/或，

26、根据所述耦合关系，修正语音活动检测阈值、语音唤醒置信度、声源定位结果的方位偏移和远近场判断结果中的至少一种。

27、在一实施例中，所述根据修正后的采集策略获得所述语音信号的采集结果的步骤包括：

28、根据所述补偿后的语音信号，确定目标语音，和/或，根据修正后的语音活动检测阈值、语音唤醒置信度、声源定位结果的方位偏移和远近场判断结果中的至少一种，确定语音识别置信度；

29、将所述目标语音、所述修正后的语音活动检测阈值、语音唤醒置信度、声源定位结果的方位偏移、远近场判断结果和所述语音识别置信度中的至少一种作为所述采集结果。

30、此外，为实现上述目的，本申请还提出一种电子设备，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序配置为实现如上文所述的语音采集方法的步骤。

31、此外，为实现上述目的，本申请还提出一种存储介质，所述存储介质为计算机可读存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上文所述的语音采集方法的步骤。

32、本申请提出的一个或多个技术方案，至少具有以下技术效果：

33、本申请通过获取至少一路麦克风通道采集的语音信号和至少一路振动参考通道采集的用于表征设备自噪声的振动参考信号，确定语音信号与该振动参考信号之间的耦合关系，从而利用该耦合关系对语音信号的采集策略进行修正，获得修正后的采集结果。由于振动参考信号能够表征设备自身的机械运动、结构振动或部件运转所产生的自噪声，因此该振动参考信号携带了设备自噪声的结构传导特征；当确定语音信号与该振动参考信号之间的耦合关系时，语音信号中因结构传导路径而混入的自噪声成分即可被识别出来。基于该耦合关系修正语音信号的采集策略，使得采集策略不再仅依赖麦克风音频信号自身的统计特性，而是能够针对设备自噪声对语音信号的干扰进行主动干预，从而在采集结果中有效抑制设备自噪声造成的干扰分量。由此，能够降低设备自噪声对语音采集质量的影响，使采集结果更加准确地反映目标语音，使得能够有效区分外部环境噪声与设备自身结构振动噪声，提高了语音信号的采集质量。

1.一种语音采集方法，其特征在于，所述语音采集方法包括：

2.如权利要求1所述的语音采集方法，其特征在于，所述获取至少一路振动传感器通道采集的振动参考信号的步骤包括：

3.如权利要求1所述的语音采集方法，其特征在于，所述确定所述语音信号与所述振动参考信号之间的耦合关系的步骤之前，还包括：

4.如权利要求3所述的语音采集方法，其特征在于，所述将所述语音信号和所述振动参考信号进行时间对齐的步骤包括：

5.如权利要求4所述的语音采集方法，其特征在于，所述耦合关系包括自噪声耦合分量和/或自噪声置信度，所述确定所述语音信号与所述振动参考信号之间的耦合关系的步骤包括：

6.如权利要求5所述的语音采集方法，其特征在于，所述在同步后的时间窗口内，确定所述语音信号与所述振动参考信号在多个频段上的耦合特性的步骤包括：

7.如权利要求1所述的语音采集方法，其特征在于，所述根据所述耦合关系，对所述语音信号的采集策略进行修正的步骤包括：

8.如权利要求7所述的语音采集方法，其特征在于，所述根据修正后的采集策略获得所述语音信号的采集结果的步骤包括：

9.一种电子设备，其特征在于，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序配置为实现如权利要求1至8中任一项所述的语音采集方法的步骤。

10.一种存储介质，其特征在于，所述存储介质为计算机可读存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至8中任一项所述的语音采集方法的步骤。