一种字幕文本生成方法、装置及设备与流程

摘要: 本申请涉及人工智能,尤其涉及一种字幕文本生成方法、装置及设备。背景技术:1、当前直播字幕通常通过自动语音识别技术实时生成,其中,由于直播环境中通常伴随有背景音乐...
一种字幕文本生成方法、装置及设备与流程

本申请涉及人工智能,尤其涉及一种字幕文本生成方法、装置及设备。

背景技术:

1、当前直播字幕通常通过自动语音识别技术实时生成,其中,由于直播环境中通常伴随有背景音乐、环境噪声或其他非语言声音,这些声音会被自动识别为语音内容,导致生成多余、无意义甚至干扰性的字幕。相关技术通常采用简单的噪声抑制或者声强门限过滤,但此类方法对非语言声音的剔除效果有限,且易误伤有效字幕,造成信息丢失或字幕断层。

技术实现思路

1、为解决上述技术问题,本申请实施例提供了一种字幕文本生成方法、装置及设备。

2、本申请实施例提供的字幕文本生成方法,包括:

3、获取直播推送的第一音频数据,并复制所述第一音频数据得到第二音频数据;

4、分别对所述第一音频数据和所述第二音频数据进行文本转写和声纹识别的并行处理,得到转写文本、第一时间戳信息以及声纹识别结果;

5、基于所述转写文本、所述第一时间戳信息以及所述声纹识别结果进行文本筛选和拼接,得到一个或多个第一字幕文本;和/或,基于所述声纹识别结果进行多语种识别,得到一个或多个第二字幕文本。

6、本申请实施例提供的字幕文本生成装置,包括:

7、获取单元,用于获取直播推送的第一音频数据;

8、处理单元,用于复制所述第一音频数据得到第二音频数据;分别对所述第一音频数据和所述第二音频数据进行文本转写和声纹识别的并行处理,得到转写文本、第一时间戳信息以及声纹识别结果;基于所述转写文本、所述第一时间戳信息以及所述声纹识别结果进行文本筛选和拼接,得到一个或多个第一字幕文本;和/或,基于所述声纹识别结果进行多语种识别,得到一个或多个第二字幕文本。

9、本申请实施例提供的处理设备,包括:处理器和存储器,该存储器用于存储计算机程序,所述处理器用于调用并运行所述存储器中存储的计算机程序,执行上述任意一种字幕文本生成方法。

10、本申请实施例的技术方案中,获取直播推送的第一音频数据,并复制第一音频数据得到第二音频数据;分别对第一音频数据和第二音频数据进行文本转写和声纹识别的并行处理,得到转写文本、第一时间戳信息以及声纹识别结果;基于转写文本、第一时间戳信息以及声纹识别结果进行文本筛选和拼接,得到一个或多个第一字幕文本;和/或,基于声纹识别结果进行多语种识别,得到一个或多个第二字幕文本。如此,通过对直播推送的第一音频数据进行复制,得到第一音频数据和第二音频数据两份独立数据流,并将第一音频数据和第二音频数据分别用于文本转写和声纹识别,确保两路处理互不干扰且同步进行,能够避免传统串行处理导致的延迟;接着基于处理得到的转写文本、第一时间戳信息以及声纹识别结果进行文本筛选和拼接得到一个或多个第一字幕文本,能够实现针对成功识别的音频数据的精准字幕生成,并自动过滤无效字幕,和/或,基于声纹识别结果进行多语种识别,判断是否为其他语言播报,并得到一个或多个第二字幕文本,能够实现针对未成功识别的音频数据的语言标识生成,以避免误删重要内容,并避免显示错误或无关字幕,通过将声纹识别结果与字幕内容进行动态绑定,能够有效剔除因背景音产生的多余字幕,从而提升直播字幕的准确性和用户的观感体验。

1.一种字幕文本生成方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述分别对所述第一音频数据和所述第二音频数据进行文本转写和声纹识别的并行处理,得到转写文本、第一时间戳信息以及声纹识别结果,包括:

3.根据权利要求2所述的方法,其特征在于,所述对所述转写文本中的转换位置进行判断和处理,得到处理结果,包括:

4.根据权利要求3所述的方法,其特征在于,所述基于所述处理结果对所述第二音频数据进行声纹识别,得到所述声纹识别结果,包括:

5.根据权利要求1所述的方法,其特征在于,所述声纹识别结果包括成功识别的音频数据;所述基于所述转写文本、所述第一时间戳信息以及所述声纹识别结果进行文本筛选和拼接,得到一个或多个第一字幕文本,包括:

6.根据权利要求1所述的方法,其特征在于,所述声纹识别结果还包括未成功识别的音频数据;所述基于所述声纹识别结果进行多语种识别,得到一个或多个第二字幕文本,包括:

7.根据权利要求6所述的方法,其特征在于,所述对所述未成功识别的音频数据进行语种识别和环境音识别,得到一个或多个语言标识和一个或多个第三时间戳信息、以及一个或多个环境音标识和一个或多个第四时间戳信息,包括:

8.根据权利要求7所述的方法,其特征在于,所述基于所述一个或多个语言标识和所述一个或多个第三时间戳信息、以及所述一个或多个环境音标识和所述一个或多个第四时间戳信息,确定所述一个或多个第二字幕文本并显示所述一个或多个第二字幕文本,包括:

9.一种字幕文本生成装置,其特征在于,所述装置包括:

10.一种处理设备,其特征在于,包括:处理器和存储器,该存储器用于存储计算机程序,所述处理器用于调用并运行所述存储器中存储的计算机程序,执行如权利要求1至8中任一项所述的方法。