一种基于说话人边界的语音转写校正方法及系统与流程

本发明涉及语音信号处理，具体涉及一种基于说话人边界的语音转写校正方法及系统。

背景技术：

1、语音转写技术作为人工智能领域的重要分支，近年来在深度学习和大规模标注数据的驱动下取得了长足进步，已广泛应用于会议记录、智能访谈、法庭庭审及无障碍通信等诸多场景，为人们的信息交互与记录留存提供了高效便捷的技术支撑；在多人对话的实际环境中，与会者频繁交替发言、各语段间静音间隔极短乃至偶尔出现语音重叠，这些自然交流特性对转写系统在文本内容与说话人身份之间的精确映射能力提出了更高要求。

2、当前主流系统通常将语音活动检测、自动语音识别和说话人日志分析作为独立模块依次执行，在大多数常规场景中能够取得良好效果；然而，对于长时长会议音频，受限于设备显存和推理时延，系统往往需对完整音频进行分片处理，这在一定程度上引入了跨分片身份一致性的维护需求；同时，语音活动检测模块倾向于将相邻接话合并为单一语音段，使得该段内可能包含多位发言人的语句，如何在不显著增加计算开销的前提下，精准界定各语句对应的角色归属并校正相应文本，仍是实际部署中值得进一步探索的方向。

3、此外，说话人日志分析能够提供各说话人的活动区间，声纹模型则可辅助判断身份相似度，但二者与识别文本的精细对齐尚存优化空间；因此，设计一种能够在现有模块基础上，通过时序关联与选择性重识别机制实现说话人边界与转写结果协同校正的方案，对于提升系统的实用性和用户体验具有积极意义。

技术实现思路

1、本发明目的是针对背景技术中存在的问题，提出一种基于说话人边界的语音转写校正方法及系统。

2、本发明的技术方案：一种基于说话人边界的语音转写校正方法，包括以下具体实施步骤：

3、s1、接收音频输入，将音频或视频中的音轨统一转换为目标采样率的单声道波形，校验音频时长和文件大小，超过单分片处理时长的音频进入长音频分片流程；

4、s2、对标准化后的完整音频执行语音活动检测，得到按时间递增排列的语音活动区间集合，若音频总时长不大于分片时长上限则将完整音频作为一个分片，否则以静音间隔中点作为实际切分点进行分片；

5、s3、针对当前分片，根据局部语音活动区间截取语音段并送入语音识别模型进行第一次识别，得到包含开始时间、结束时间和文本的初始句子集合，并为每个语音活动区间建立带父级区间标识的第一次识别记录；识别模型输出多个分句时，各分句仍归属于同一父级语音活动区间；同时执行说话人日志分析，得到包含起止时间和局部说话人标识的说话人区间集合；

6、s4、针对每个父级语音活动区间及其第一次识别记录，计算该父级区间与各说话人区间的交集长度，按绝对最小重叠长度与相对重叠比例的联合条件筛选有效关联区间并对说话人标识去重，若有效关联说话人集合仅包含一个说话人标识则复用第一次识别记录，若包含至少两个说话人标识则判定为冲突语音段；

7、s5、对冲突语音段，将各有效关联区间裁剪到父级区间内，将父级语音活动区间的起点和终点与裁剪后区间的起止边界一并收集、排序并去重，以相邻边界形成时间有序且互不重叠的候选子区间，并确定各候选子区间的唯一目标说话人或标记重叠语音区；

8、s6、对候选子区间执行边界吸附，将边界吸附到第一次识别中最近的词级或令牌级时间边界，对持续时间小于最小子段时长的候选子区间执行短段保全处理，对保留的冲突子区间在其起止时间前后外扩上下文余量后执行第二次识别；

9、s7、对第二次识别结果进行质量门控判定；对于未通过门控的子区间，优先依据第一次识别时间戳取得对应文本；仅在父级区间内全部子区间均获得可写入结果时，原子地删除父级记录并写入子记录；存在无法取得对应文本的子区间时，取消该父级区间的全部局部替换并保留父级记录；

10、s8、对各分片的局部说话人提取参考声纹并进行全局聚类，将各局部说话人标识映射为全局说话人标识，对累计发言时长低于阈值的候选说话人执行低时长说话人校正；

11、s9、根据全局身份映射回写所有对话段的说话人标识，将时间相邻且说话人相同的对话段合并，按各说话人首次出现顺序重新编号并输出对话列表。

12、优选的，步骤s2中，从当前分片起点出发确定目标切分时间，在目标位置之前的候选窗口内遍历相邻语音活动区间并计算静音间隔，将持续时长不小于预设最小静音时长的静音间隔确定为候选静音间隔，选择候选静音间隔中持续时长最大的一个，并以其间隔中点作为实际切分点；

13、前向窗口不存在候选静音间隔时，继续在目标位置之后的补充窗口内检索；

14、仍不存在候选静音间隔，且实际切分点落入语音活动区间时，将该语音活动区间在切分点处分为两个带公共上下文余量的局部区间分别分配至相邻分片，并在识别后依据全局时间戳裁剪、去重和合并。

15、优选的，步骤s4中，对于父级语音活动区间与说话人区间，先计算二者的交集长度，仅当交集长度不小于绝对最小重叠长度，并且交集长度占父级语音活动区间时长的比例不小于父级区间比例阈值、或者交集长度占说话人区间时长的比例不小于说话人区间比例阈值时，将该说话人区间纳入有效关联区间集合；

16、对有效关联区间集合中的说话人标识去重后形成有效关联说话人集合；若有效关联说话人集合为空，则保留父级第一次识别记录并标记待校正。

17、优选的，步骤s5中，对各有效关联区间裁剪到父级区间内并排序去重边界后，以相邻边界形成互不重叠的候选子区间；仅当候选子区间中覆盖时长最大的说话人唯一且覆盖优势达到判定条件时，确定唯一目标说话人并将同一目标说话人的相邻子区间予以合并；日志存在空隙时保留对应的第一次识别文本并标记待校正；存在并列覆盖或同时说话时，标记为多说话人重叠区并进入语音分离、保留首次文本或人工复核路径。

18、优选的，步骤s6中，边界吸附包括：

19、在最大吸附距离内，将各候选子区间边界吸附到第一次识别中最近的词级或令牌级时间边界；

20、吸附后保持边界严格单调且相邻边界间距不小于最小子段时长；

21、最近边界超过最大吸附距离、吸附后发生边界交叉或产生过短子段时，保留原日志边界并进入短段回退处理。

22、优选的，步骤s6中，短段保全处理包括：

23、持续时间小于最小子段时长的候选子区间不直接过滤，若其与相邻区间具有相同说话人标识则并入该相邻区间，否则从该短子区间及相邻候选区间分别提取区间级声纹表示，仅在声纹相似度达到短段归并阈值且邻接目标唯一时归并；

24、无法安全归并时，依据第一次识别的词级时间戳分配已有文本，无法确定时保留父级第一次识别记录并输出待校正标记。

25、优选的，步骤s6中，对每个冲突子区间在其起止时间前后各外扩预设上下文余量并执行第二次识别，第二次识别直接输出词级或令牌级时间戳，模型不提供时间戳时通过强制对齐获得时间戳，仅保留中心子区间范围内的词或令牌，相邻外扩区重复输出时依据中心区归属和时间顺序去重；

26、第二次识别结果通过质量门控判定，质量门控条件包括平均词级对数概率不低于第一阈值、无语音概率不高于第二阈值、有效词数量不低于第三阈值，或将上述指标输入经验证集校准的质量评分函数且评分不低于第四阈值。

27、优选的，步骤s8中，参考声纹提取包括：

28、按局部说话人标识聚合完成门控替换后得到的最终对话段，对每一局部说话人的对话段按持续时间从长到短排序，依次选择对话段直至累计参考时长达到上限，将所选波形拼接形成参考语音并提取归一化声纹向量；

29、参考语音短于声纹模型可靠输入下限时跳过该说话人的声纹提取。

30、优选的，步骤s8中，全局聚类和低时长校正包括：

31、依次读取各分片的局部说话人声纹向量，计算其与各全局簇质心的相似度，取最大相似度，若该最大相似度不低于归并阈值则并入对应簇并更新质心，否则建立新簇；

32、将累计发言时长不小于阈值的说话人确定为主说话人，对累计发言时长小于阈值的低时长候选，仅在声纹相似度最高且不低于校正阈值、与第二高相似度之差不小于间隔阈值、时间距离最小且不存在并列候选时修改其说话人标识，条件不满足时保留原标识并标记待校正。

33、本发明的技术方案：一种基于说话人边界的语音转写校正系统，其用于执行上述所述的一种基于说话人边界的语音转写校正方法，包括：

34、首次识别模块，用于对会议音频执行语音活动检测得到语音活动区间集合，并为每个语音活动区间建立具有父级区间标识、起止时间和文本的第一次识别记录；

35、独立日志分析模块，用于独立执行说话人日志分析，获得具有说话人标识和起止时间的说话人区间集合；

36、有效关联计算模块，用于针对每个父级语音活动区间，按绝对最小重叠长度与相对重叠比例的联合条件筛选有效关联区间并对说话人标识去重；

37、冲突判定模块，用于当有效关联说话人集合仅包含一个说话人标识时复用第一次识别记录，当有效关联说话人集合至少包含两个说话人标识时确定为冲突语音段；

38、子区间生成模块，用于将父级语音活动区间的起止边界与裁剪后的说话人日志边界一并排序，形成完整覆盖父级区间、时间有序且互不重叠的候选子区间，并确定各候选子区间的目标说话人；

39、选择性第二次识别模块，用于对候选子区间执行边界吸附和短段保全处理后，仅对保留的冲突子区间执行第二次识别；

40、门控替换模块，用于对第二次识别结果进行质量门控判定，为父级区间内全部子区间形成可写入结果集合，并在结果集合完整时原子地删除父级记录并写入子记录；

41、音频预处理与分片模块，用于完成音频标准化并根据静音间隔形成音频分片；

42、参考声纹提取与全局聚类模块，用于提取各分片局部说话人的参考声纹并生成局部说话人标识至全局说话人标识的映射；

43、低时长校正模块，用于对满足声纹相似度和唯一时间邻近条件的低时长候选说话人进行校正；

44、结果输出模块，用于根据全局身份映射回写所有对话段的说话人标识，按各说话人首次出现顺序重新编号并输出说话人标识、时间范围、文本及待校正状态。

45、与现有技术相比，本发明的上述技术方案具有如下有益的技术效果：

46、本发明设计了一种基于说话人边界的语音转写校正方法及系统，通过将语音活动检测与说话人日志进行时间轴交叠运算，构建了精准的冲突判定机制，能够准确定位同一语音段内多个说话人交替或重叠发言的边界，有效解决了传统方法将多说话人文本混叠于单一识别结果中的固有问题；针对冲突区域采用边界吸附与上下文外扩二次识别策略，在保持时间边界精度的同时显著提升了短时交替发言的文本识别正确率和角色归属准确性，且原子替换机制确保了最终转录结果的完整性和一致性；跨分片全局声纹聚类与低时长候选双重门控校正，有效抑制了因长音频分片导致的同一说话人身份分裂以及短时插话被错误归并的问题，大幅增强了系统在真实复杂会议场景中的鲁棒性。