一种语音重叠检测方法、装置、电子设备及存储介质与流程

本发明涉及语音处理的，更具体地说，涉及一种语音重叠检测方法、装置、电子设备及存储介质。

背景技术：

1、重叠语音检测是指在一段音频中判断是否存在两个或两个以上说话人同时发声的技术。该技术广泛应用于会议转写、客服质检、说话人日志、自动语音识别前处理、音频质量检测以及多说话人语音分析等场景。在上述应用中，若不能准确识别重叠语音，容易导致语音识别结果错误、说话人归属混乱、会议纪要内容缺失或质检结果不准确。

2、现有重叠语音检测技术主要包括以下几类：第一类是基于能量、端点检测或语音活动检测规则的方法，通过音频能量变化、语音段边界或语音活动状态判断疑似重叠区域；第二类是依赖说话人分离或说话人日志系统的间接判断方法，通过识别不同说话人的语音活动时间关系推断是否存在重叠；第三类是基于神经网络的二分类方法，即将音频切分为固定长度窗口，输入声学模型进行重叠/非重叠分类，并通过固定阈值输出检测结果。

3、上述现有方法在实际应用中仍存在不足：对于两名说话人快速轮转、极短停顿、相邻发声但实际不重叠等边界场景，容易将“双人非重叠”误判为“重叠”；真实重叠语音标注成本较高，且标注边界不稳定，训练数据难以充分覆盖不同性别组合、重叠时长、说话人间信噪比、背景噪声及长短语音嵌入等复杂情况；现有神经网络方法通常仅使用“是否重叠”单一标签进行训练，缺少对说话人数、重叠持续时间、说话人间能量关系等声学结构信息的显式学习；同时，固定阈值在不同数据域和业务场景下迁移性较差，容易造成误报率波动，长音频文件级判断也可能因少量异常窗口被误判为重叠，难以满足实际业务中低误报、稳定交付的要求。

4、因此，亟需一种重叠语音检测系统及方法，能够有针对性地构造覆盖复杂场景的训练样本，联合学习多种与重叠语音相关的声学结构信息，并根据开发集或业务要求进行阈值校准，从而提高重叠语音检测的准确性、鲁棒性和可交付性。

技术实现思路

1、本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种语音重叠检测方法、装置、电子设备及存储介质。

2、本发明解决其技术问题所采用的技术方案如下：

3、第一方面，本发明提供一种语音重叠检测方法，其中，包括以下步骤：

4、步骤一：获取原始音频数据，从真实语音片段、说话人信息、背景噪声和真实标注音频中构建训练集、开发集和测试集；将所述原始音频数据及训练所用的音频数据重采样为单声道且采样率统一的音频，并裁剪或填充为固定长度窗口，提取所述窗口的log-mel声学特征；

5、步骤二：构建多任务声学检测模型，所述模型包括依次连接的预训练语音编码器、adapter模块、decoder模块和池化单元；

6、利用所述预训练语音编码器对所述log-mel声学特征进行编码，输出代表音频内容的第一向量化隐式表达特征；

7、利用所述adapter模块对所述第一向量化隐式表达特征进行处理，输出代表语音重叠信息的第二向量化隐式表达特征；

8、利用所述decoder模块对所述第二向量化隐式表达特征进行处理，输出表征语音重叠信息并保留时序关系的第三向量化隐式表达特征；

9、利用所述池化单元对所述第三向量化隐式表达特征进行池化，获得窗口级表示；在所述窗口级表示上设置多个任务分支，所述任务分支至少包括重叠分类主分支和重叠分类辅助分支；

10、利用所述训练集对所述多任务声学检测模型进行多任务损失加权训练；

11、步骤三：利用所述开发集对候选阈值进行扫描，计算各候选阈值下的误报率，在误报率不超过预设上限的候选阈值中选择最优阈值，并将所述最优阈值作为判定阈值；

12、步骤四：获取待检测长音频，按照指定窗口长度和指定步长将所述待检测长音频滑窗切分为n个子音频；

13、步骤五：将所述n个子音频依次输入训练后的多任务声学检测模型，根据所述重叠分类主分支和所述重叠分类辅助分支的输出计算各子音频的重叠分数，利用所述判定阈值对各子音频进行重叠/非重叠判定，输出所述待检测长音频的语音重叠检测结果。

14、本发明所述语音重叠检测方法，其中，所述步骤二中，所述预训练语音编码器为whisper-large-v3，所述adapter模块为conformer网络结构，所述decoder模块为transformer网络结构，所述池化单元为多头注意力池化单元；所述第一向量化隐式表达特征、第二向量化隐式表达特征和第三向量化隐式表达特征均保持与原始音频一致的时序关系。

15、本发明所述语音重叠检测方法，其中，所述步骤二中，多个所述任务分支还包括说话人数分支、重叠时长分支和说话人间信噪比分支；所述重叠分类主分支采用bcewithlogits损失函数，监督目标为重叠/非重叠标签；所述重叠分类辅助分支采用交叉熵损失函数，监督目标为重叠/非重叠二分类标签；所述说话人数分支采用交叉熵损失函数，监督目标为说话人数类别标签；所述重叠时长分支采用smoothl1损失函数，监督目标为窗口内重叠持续时间；所述说话人间信噪比分支采用smoothl1损失函数，监督目标为说话人间信噪比值；对于非重叠样本，所述说话人间信噪比分支的监督目标设置为哨兵值。

16、本发明所述语音重叠检测方法，其中，所述步骤二中，多任务损失加权训练的总损失函数表示为：

17、+++

18、其中，为所述重叠分类主分支的bcewithlogits损失，为所述重叠分类辅助分支的交叉熵损失，为所述说话人数分支的交叉熵损失，为所述重叠时长分支的smoothl1损失，为所述说话人间信噪比分支的smoothl1损失；、、、和分别为各项损失对应的权重系数。

19、本发明所述语音重叠检测方法，其中，所述步骤一中，构建所述训练集、开发集和测试集的具体方式包括：基于语音活动检测结果获得说话人语音片段池，按照说话人划分训练集、开发集和测试集，使同一说话人的语音片段不同时出现在所述训练集、开发集和测试集中的任意两个集合中；

20、基于所述说话人语音片段池构造以下训练样本：

21、从单个说话人的语音片段中截取固定长度窗口，或将长度小于所述固定长度窗口的语音片段放置于窗口左端、右端或中间并补零，构造单人语音负样本；

22、在同一窗口内顺序放置两个不同说话人的语音片段，中间保留间隔且重叠时长为零，构造双人非重叠间隔负样本；

23、将两个不同说话人的语音片段按照随机对齐方式叠加，使重叠时长不小于预设阈值，构造双人全长重叠正样本；

24、将一个长语音片段与一个短语音片段在窗口端点处叠加，构造长短端点重叠正样本；

25、将一个短语音片段嵌入到一个长语音片段的内部，形成局部重叠，构造长短嵌入重叠正样本。

26、本发明所述语音重叠检测方法，其中，所述步骤一中，各正样本的重叠时长控制为大于等于0.5秒，各负样本的重叠时长控制为0秒，并将重叠时长在0至0.5秒之间的模糊样本丢弃；在构造训练样本过程中，控制性别组合、背景噪声信噪比和说话人间信噪比，并记录每一训练样本的元数据，所述元数据至少包括说话人数、重叠时长、性别组合和说话人间信噪比。

27、本发明所述语音重叠检测方法，其中，所述步骤五中，所述重叠分数的计算方式为：对所述重叠分类主分支的输出执行sigmoid运算得到第一重叠概率，对所述重叠分类辅助分支的输出执行softmax运算并取重叠类别对应的概率值得到第二重叠概率，取所述第一重叠概率和所述第二重叠概率中的较小值作为所述重叠分数；对于同一时间段内的多次预测结果，当预测为重叠的预测次数占总预测次数的比例超过阈值时，判定该时间段为重叠语音，并输出文件级重叠判定结果。

28、第二方面，本发明还提供一种重叠语音的检测装置，其中，所述检测装置包括：

29、数据构建与预处理模块，用于获取原始音频数据，从真实语音片段、说话人信息、背景噪声和真实标注音频中构建训练集、开发集和测试集；将所述原始音频数据及训练所用的音频数据重采样为单声道且采样率统一的音频，并裁剪或填充为固定长度窗口，提取所述窗口的log-mel声学特征；

30、模型构建与训练模块，用于构建多任务声学检测模型，所述模型包括依次连接的预训练语音编码器、adapter模块、decoder模块和池化单元；利用所述预训练语音编码器对所述log-mel声学特征进行编码，输出代表音频内容的第一向量化隐式表达特征；利用所述adapter模块对所述第一向量化隐式表达特征进行处理，输出代表语音重叠信息的第二向量化隐式表达特征；利用所述decoder模块对所述第二向量化隐式表达特征进行处理，输出表征语音重叠信息并保留时序关系的第三向量化隐式表达特征；利用所述池化单元对所述第三向量化隐式表达特征进行池化，获得窗口级表示；在所述窗口级表示上设置多个任务分支，所述任务分支至少包括基于bcewithlogits方法监督的重叠分类主分支和基于crossentropy方法监督的重叠分类辅助分支；利用所述训练集对所述多任务声学检测模型进行多任务损失加权训练；

31、阈值校准模块，用于利用所述开发集对候选阈值进行扫描，计算各候选阈值下的误报率，在误报率不超过预设上限的候选阈值中选择最优阈值作为判定阈值；

32、滑窗切分模块，用于获取待检测长音频，按照指定窗口长度和指定步长将所述待检测长音频滑窗切分为n个子音频；

33、结果输出模块，用于将所述n个子音频依次输入训练后的多任务声学检测模型，根据所述多任务声学检测模型的重叠分类主分支和重叠分类辅助分支的输出计算各子音频的重叠分数，利用所述判定阈值对各子音频进行重叠/非重叠判定，并输出所述待检测长音频的语音重叠检测结果。

34、第三方面，本发明还提供一种电子设备，其中，包括：

35、一个或多个处理器；以及

36、存储器，用于存储一个或多个计算机程序；

37、当所述一个或多个计算机程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如上述任一项所述的语音重叠检测方法。

38、第四方面，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机计算机程序，其中，所述计算机计算机程序被处理器运行时执行如上述任一项所述的语音重叠检测方法。

39、与现有技术相比，本发明具有以下有益效果：

40、1、本发明通过构造单人语音负样本、双人非重叠间隔负样本等多形态负样本，特别是针对两名说话人快速轮转、极短停顿、相邻发声但实际不重叠等边界场景设计了专门的负样本，使模型能够学习到“双人非重叠”与“双人重叠”之间的细微差异。同时，通过构造双人全长重叠正样本、长短端点重叠正样本和长短嵌入重叠正样本，覆盖了真实场景中多种重叠形态，有效增强了模型对难负样本和边界样本的区分能力。相比现有技术中仅使用简单正负样本的方法，本发明大幅降低了边界场景下的误报率；

41、2、本发明在共享窗口级表示上设置了五个任务分支：重叠分类主分支（bcewithlogits）、重叠分类辅助分支（crossentropy）、说话人数分支（crossentropy）、重叠时长分支（smoothl1）和说话人间信噪比分支（smoothl1）。通过多任务损失加权联合训练，模型在训练过程中不仅学习“是否重叠”的判别信息，还同步学习说话人数、重叠持续时间以及说话人之间的能量关系等多维声学结构信息。这些辅助任务为共享表示层提供了丰富的监督信号，引导模型学习到更加判别性和鲁棒性的特征表达。现有技术通常仅使用“是否重叠”单一标签进行训练，缺少对声学结构信息的显式学习，本发明通过多任务学习有效弥补了这一缺陷，从根源上减少了单一标签训练导致的误判；

42、3、本发明采用重叠滑窗方式对待检测长音频进行切分，使同一时间段被多个相邻窗口覆盖，实现多视角预测。在文件级融合阶段，对于同一时间段内的多次预测结果，当预测为重叠的次数占总预测次数的比例超过预定阈值时，方判定该时间段为重叠语音。这一策略有效避免了因少量异常窗口被误判为重叠而导致整个文件被误判的问题，大幅提升了长音频文件级检测结果的稳定性和可信度，满足了实际业务场景中对稳定交付的要求。