语音端点识别方法、装置、存储介质及电子设备与流程

本申请涉及语音识别领域，尤其涉及一种语音端点识别方法、装置、存储介质及电子设备。

背景技术：

1、现有技术中，语音端点检测（voice activity detection, vad）是实时语音交互系统中的关键技术，用于判定用户何时开始与结束说话。

2、而现有技术中，若识别用户是否结束说话，通常的手段是设置一个固定阈值，若是静音时长超过固定阈值，则判定用户结束说话。但是这种方式对用户中途思考的场景不友好，容易“抢话”，即用户实际还没说完，就回复用户，因此现有技术中，语音端点识别不准确。

技术实现思路

1、本申请提供了一种语音端点识别方法、装置、存储介质及电子设备，以解决语音端点识别准确度低的问题。

2、第一方面，本申请提供了一种语音端点识别方法，包括：在实时采集用户的当前语音流的过程中，若检测到上述当前语音流中存在满足预设触发条件的静音片段，则获取上述用户的历史语音流； 确定上述当前语音流与上述历史语音流的韵律记忆向量；根据上述当前语音流的语音流特征构建语音流序列，并将上述韵律记忆向量拼接在前端，得到第一拼接向量，且在上述语音流特征后拼接假想静音段的声学特征，构建出假想静音序列，并将上述韵律记忆向量拼接在前端，得到第二拼接向量；分别预测上述第一拼接向量的第一结束概率与上述第二拼接向量的第二结束概率；根据上述第一结束概率与上述第二结束概率的差值，确定上述当前语音流是否结束。

3、第二方面，本申请提供了一种语音端点识别装置，包括：获取模块，用于在实时采集用户的当前语音流的过程中，若检测到上述当前语音流中存在满足预设触发条件的静音片段，则获取上述用户的历史语音流；确定模块，用于确定上述当前语音流与上述历史语音流的韵律记忆向量；构建模块，用于根据上述当前语音流的语音流特征构建语音流序列，并将上述韵律记忆向量拼接在前端，得到第一拼接向量，且在上述语音流特征后拼接假想静音段的声学特征，构建出假想静音序列，并将上述韵律记忆向量拼接在前端，得到第二拼接向量；预测模块，用于分别预测上述第一拼接向量的第一结束概率与上述第二拼接向量的第二结束概率；判断模块，用于根据上述第一结束概率与上述第二结束概率的差值，确定上述当前语音流是否结束。

4、第三方面，本申请提供了一种电子设备，包括：至少一个通信接口；与上述至少一个通信接口相连接的至少一个总线；与上述至少一个总线相连接的至少一个处理器；与上述至少一个总线相连接的至少一个存储器，上述存储器存储有计算机程序，上述处理器执行上述计算机程序时实现上述任一项的方法。

5、第四方面，本申请还提供了一种计算机可读的存储介质，上述存储介质存储有计算机程序，上述计算机程序被处理器执行时实现上述任一项的方法。

6、本申请实施例提供的上述技术方案与现有技术相比具有如下优点：本技术方案中，通过在实时采集用户的当前语音流的过程中，若检测到上述当前语音流中存在满足预设触发条件的静音片段，则获取上述用户的历史语音流；确定上述当前语音流与上述历史语音流的韵律记忆向量；根据上述当前语音流的语音流特征构建语音流序列，并将上述韵律记忆向量拼接在前端，得到第一拼接向量，且在上述语音流特征后拼接假想静音段的声学特征，构建出假想静音序列，并将上述韵律记忆向量拼接在前端，得到第二拼接向量；分别预测上述第一拼接向量的第一结束概率与上述第二拼接向量的第二结束概率；根据上述第一结束概率与上述第二结束概率的差值，确定上述当前语音流是否结束的方式，从而在对用户进行语音端点检测的过程中，通过构建假想静音序列的方式，与真实的语音流序列一同进行结束概率的预测，进一步确定两者差异，而且通过韵律记忆向量强化用户语音的韵律特征，最后如果两者差异更大，说明用户更可能停止说话，实现了准确识别语音端点的效果。

1.一种语音端点识别方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，确定所述当前语音流与所述历史语音流的韵律记忆向量包括：

3.根据权利要求1所述的方法，其特征在于，在所述语音流特征后拼接假想静音段的声学特征包括：

4.根据权利要求1所述的方法，其特征在于，分别预测所述第一拼接向量的第一结束概率与所述第二拼接向量的第二结束概率包括：

5.根据权利要求4所述的方法，其特征在于，将所述第一拼接向量与所述第二拼接向量并行输入到预训练的预测模型的双向可逆transformer编码器，得到各自的深层语义特征矩阵之后，还包括：

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

7.根据权利要求1所述的方法，其特征在于，所述方法还包括：

8.一种语音端点识别装置，其特征在于，包括：

9.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

10.一种计算机可读的存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的方法。