一种流式多人语音分离与识别交织处理方法、装置及介质与流程

本发明涉及语音数据处理，尤其涉及一种流式多人语音分离与识别交织处理方法、装置及介质。

背景技术：

1、在实时多人语音交互场景（比如服务机器人、智能接待、以及实时会议等）要求系统在说话进行中即完成“谁说了什么”的判定，这依赖流式说话人分离与流式语音识别两条技术线的配合。现有技术的业界主流系统，一般是按照“攒段、整段处理、以及事后绑定说话人”的串行范式来进行处理的。

2、发明人在实现本发明的过程中，发现现有技术存在如下缺陷：现有技术中，说话人分离的处理延迟直接叠加在语音识别延迟之上，说话进行中系统零输出；即使各环节已具备流式处理能力，管线架构仍按整段串行方式组织，流式能力无法兑现。说话人标签只能在分离与识别均完成后事后绑定，说话过程中的识别结果不携带说话人信息，下游无法实时按说话人组织输出。流式说话人分离与流式语音识别是速率不同、完成时刻不同的两条异步流，两条异步流缺乏协同与裁决机制。说话人分离推理耗时随计算负载波动，若排队等待则延迟无界增长，若直接丢弃则说话人标签断裂，现有技术未见兼顾实时性与标签连续性的设计。

技术实现思路

1、本发明提供了一种流式多人语音分离与识别交织处理方法、装置及介质，以实现在保持说话进行中，保障低延迟的前提下，让分离与识别两条异步流并行协同，并保证说话人分离与识别的准确性与可靠性。

2、根据本发明的一方面，提供了一种流式多人语音分离与识别交织处理方法，其中，包括：

3、实时获取待检测处理音频流段、以及当前语音开始时刻，并在确定当前语音开始时刻满足启动条件时，触发启动并行执行当前流式说话人分离流和当前流式语音识别流；

4、在执行当前流式说话人分离流的过程中，通过预设的滚动初始化与持久状态建立方法对所述待检测处理音频流段进行处理，根据处理后的结果并结合预设的分离流再处理方法，生成各边带元数据帧；

5、其中，所述边带元数据帧包括下述至少一项：说话人编号标识、说话人活动概率、以及说话人时间戳；

6、在执行当前流式语音识别流的过程中，通过预设的识别流推理步长对所述待检测处理音频流段进行识别处理，生成当前识别结果；

7、根据所述边带元数据帧和所述当前识别结果，通过预设的归属裁决方法进行处理，得到目标语音分离与识别交织处理结果。

8、根据本发明的另一方面，提供了一种流式多人语音分离与识别交织处理装置，其中，包括：

9、当前流式说话人分离流和当前流式语音识别流触发启动模块，用于实时获取待检测处理音频流段、以及当前语音开始时刻，并在确定当前语音开始时刻满足启动条件时，触发启动并行执行当前流式说话人分离流和当前流式语音识别流；

10、边带元数据帧生成模块，用于在执行当前流式说话人分离流的过程中，通过预设的滚动初始化与持久状态建立方法对所述待检测处理音频流段进行处理，根据处理后的结果并结合预设的分离流再处理方法，生成各边带元数据帧；

11、其中，所述边带元数据帧包括下述至少一项：说话人编号标识、说话人活动概率、以及说话人时间戳；

12、当前识别结果生成模块，用于在执行当前流式语音识别流的过程中，通过预设的识别流推理步长对所述待检测处理音频流段进行识别处理，生成当前识别结果；

13、目标语音分离与识别交织处理结果确定模块，用于根据所述边带元数据帧和所述当前识别结果，通过预设的归属裁决方法进行处理，得到目标语音分离与识别交织处理结果。

14、根据本发明的另一方面，提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时实现本发明任一实施例所述的流式多人语音分离与识别交织处理方法。

15、根据本发明的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本发明任一实施例所述的流式多人语音分离与识别交织处理方法。

16、本发明实施例的技术方案，实时获取待检测处理音频流段、以及当前语音开始时刻，并在确定当前语音开始时刻满足启动条件时，触发启动并行执行当前流式说话人分离流和当前流式语音识别流；在执行当前流式说话人分离流的过程中，通过预设的滚动初始化与持久状态建立方法对所述待检测处理音频流段进行处理，根据处理后的结果并结合预设的分离流再处理方法，生成各边带元数据帧；在执行当前流式语音识别流的过程中，通过预设的识别流推理步长对所述待检测处理音频流段进行识别处理，生成当前识别结果；根据所述边带元数据帧和所述当前识别结果，通过预设的归属裁决方法进行处理，得到目标语音分离与识别交织处理结果；解决了现有技术中缺乏分离与语音识别流协同处理的机制，实现了在保持说话进行中，保障低延迟的前提下，让分离与识别两条异步流并行协同，并保证说话人归属的准确与可靠性。

17、应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。

1.一种流式多人语音分离与识别交织处理方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，在所述实时获取待检测处理音频流段、以及当前语音开始时刻，并在确定当前语音开始时刻满足启动条件时，触发启动并行执行当前流式说话人分离流和当前流式语音识别流之前，还包括：

3.根据权利要求2所述的方法，其特征在于，所述在执行当前流式说话人分离流的过程中，通过预设的滚动初始化与持久状态建立方法对所述待检测处理音频流段进行处理，根据处理后的结果并结合预设的分离流再处理方法，生成各边带元数据帧，包括：

4.根据权利要求3所述的方法，其特征在于，所述根据所述当前说话人分离流持久状态结果，通过所述分离流再处理方法，生成各边带元数据帧，包括：

5.根据权利要求4所述的方法，其特征在于，所述通过预设的识别流推理步长对所述待检测处理音频流段进行识别处理，生成当前识别结果，包括：

6.根据权利要求5所述的方法，其特征在于，所述根据所述边带元数据帧和所述当前识别结果，通过预设的归属裁决方法进行处理，得到目标语音分离与识别交织处理结果，包括：

7.根据权利要求6所述的方法，其特征在于，所述根据所述当前归属裁决置信度、目标候选说话人和语音段最终标记，结合预设的同步窗口处理方法，得到目标语音分离与识别交织处理结果，包括：

8.一种流式多人语音分离与识别交织处理装置，其特征在于，包括：

9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-7中任一项所述的一种流式多人语音分离与识别交织处理方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现如权利要求1-7中任一项所述的一种流式多人语音分离与识别交织处理方法。