流式字幕和表情的联动方法与流程
本申请涉及数据处理,特别是涉及一种流式字幕和表情的联动方法。
背景技术:
1、在智能体播报或文本生成过程中,服务端会将连续生成的字幕拆分为多个分片,通过长连接将字幕分片发送给终端或中间服务。字幕作为流式语音交互中重要的可校验语义载体,需要与终端的多模态输出保持语义一致,以向用户传递交互意图。
2、传统技术中,字幕通常按照整体消息传输,或者在接收端按照到达顺序逐片处理并生成表情。然而,在流式语音交互场景中,字幕分片属于同一次智能体回答在大模型流式生成和语音播报过程中连续产生的语义片段,各分片共同构成一条完整话语。由于网络抖动,分片可能出现乱序到达、重复或缺失,若直接依据到达的分片生成表情,容易使表情与完整语义出现错配。
技术实现思路
1、基于此,有必要针对上述技术问题,提供一种能够使设备端输出的非语言交互表情与完整语义保持一致的流式字幕和表情的联动方法。
2、第一方面,本申请提供了一种流式字幕和表情的联动方法,包括:
3、接收流式输出的字幕分片;
4、在单条字幕对应的字幕分片尚未接收完成时,基于已接收的所述字幕分片生成可修正的临时表情数据;
5、向设备端发送所述临时表情数据,以指示所述设备端调用本地动画资源,输出与所述临时表情数据对应的非语言交互表情;
6、在所述单条字幕对应的字幕分片接收完成时,将所述单条字幕对应的各所述字幕分片拼接为完整字幕;
7、对所述完整字幕进行表情匹配,得到全句表情数据;
8、向所述设备端发送所述全句表情数据,以指示所述设备端调用本地动画资源,更新或保持所述非语言交互表情。
9、第二方面,本申请还提供了一种流式字幕和表情的联动装置,包括:
10、分片接收模块,用于接收流式输出的字幕分片;
11、字幕拼接模块,用于在单条字幕对应的字幕分片接收完成时,将单条字幕对应的各字幕分片拼接为完整字幕;
12、临时表情生成模块,用于在单条字幕对应的字幕分片尚未接收完成时,基于已接收的字幕分片生成可修正的临时表情数据;
13、全句表情生成模块,用于对完整字幕进行表情匹配,得到全句表情数据;
14、表情数据下发模块,用于向设备端发送临时表情数据,以指示设备端调用本地动画资源,输出与临时表情数据对应的非语言交互表情;向设备端发送全句表情数据,以指示设备端调用本地动画资源,更新或保持非语言交互表情。
15、第三方面,本申请还提供了一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现各实施例中流式字幕和表情的联动方法的步骤。
16、第四方面,本申请还提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现各实施例中流式字幕和表情的联动方法的步骤。
17、第五方面,本申请还提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现各实施例中流式字幕和表情的联动方法的步骤。
18、上述流式字幕和表情的联动方法,在单条字幕对应的字幕分片尚未接收完成时,基于已接收的字幕分片生成可修正的临时表情数据并发送,使设备端能够先输出非语言交互表情;在字幕分片接收完成后,将各字幕分片拼接为完整字幕,并对完整字幕进行表情匹配得到全句表情数据,用以更新或保持设备端已展示的非语言交互表情;由此,即使流式阶段因部分字幕分片语义不完整而产生临时误判,也能在完整字幕确定后予以修正,使设备端输出的非语言交互表情与完整语义保持一致,避免仅依据部分字幕分片进行表情判断造成的语义错配;同时,设备端调用本地动画资源输出非语言交互表情,无需随每条字幕下载表情图片或视频,可减少传输和解码开销。
1.一种流式字幕和表情的联动方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述基于已接收的所述字幕分片生成可修正的临时表情数据,包括:
3.根据权利要求2所述的方法,其特征在于,所述基于所述字幕分片匹配到表情关键词,包括:
4.根据权利要求1所述的方法,其特征在于,所述字幕分片携带消息标识、分片序号和总分片数;所述在所述单条字幕对应的字幕分片接收完成时,将所述单条字幕对应的各所述字幕分片拼接为完整字幕,包括:
5.根据权利要求1所述的方法,其特征在于,所述对所述完整字幕进行表情匹配,得到全句表情数据,包括:
6.根据权利要求5所述的方法,其特征在于,所述负向语言结构包括否定结构、双重否定结构和转折结构中的至少一种;
7.根据权利要求5所述的方法,其特征在于,所述根据负向模式校正后的所述评分参数,对各候选表情进行语义置信度评分,得到各候选表情的目标分数,包括:
8.根据权利要求5所述的方法,其特征在于,所述根据所述目标分数,确定所述全句表情数据,包括:
9.根据权利要求1所述的方法,其特征在于,所述临时表情数据携带第一版本号,所述全句表情数据携带第二版本号;所述向所述设备端发送所述全句表情数据,包括:
10.根据权利要求1至9任一项所述的方法,其特征在于,所述方法还包括:
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com