信息处理方法、装置、电子设备、计算机可读存储介质与流程

摘要: 本公开实施例涉及音视频处理,尤其涉及信息处理方法、装置、电子设备、计算机可读存储介质。背景技术:1、在实时语音交互类应用中,相关系统通常通过终端设备采集用户侧的...
信息处理方法、装置、电子设备、计算机可读存储介质与流程

本公开实施例涉及音视频处理,尤其涉及信息处理方法、装置、电子设备、计算机可读存储介质。

背景技术:

1、在实时语音交互类应用中,相关系统通常通过终端设备采集用户侧的音频数据与视频数据,并经由实时通信链路上传至服务端。服务端在接收到音频数据后,基于语音模型生成对话回复内容,并调用虚拟形象渲染服务输出对应的音视频画面。同时,上传的音视频数据被送入分析链路,待当前会话结束后再统一进行评估与反馈。

2、然而,现有虚拟形象渲染方案通常需要依赖完整回复文本生成全量视频序列后,再向客户端统一输出。这导致服务端在会话过程中需持续缓存整段视频帧数据并维持大量渲染任务,造成服务端内存资源占用高、处理器并发运算负荷大,且音视频端到端传输时延显著增加。

3、此外,现有架构中,语音处理、多模态分析与结果反馈往往由相互独立的链路分别执行,使得同一份交互数据在服务端被多次拷贝、分发与处理,造成冗余的信令交互和重复计算,进一步加剧了服务端的数据处理压力,导致系统资源开销增大。

技术实现思路

1、本公开实施例提供一种信息处理方法、装置、电子设备、计算机可读存储介质,以至少部分地解决相关技术中存在的上述问题。

2、根据本公开的其中一方面,提供一种信息处理方法,包括:在语音训练会话周期内,获取交互数据,交互数据包括音频数据流和视频数据流;对交互数据进行分发处理,以触发语音处理路径基于音频数据流生成回复文本及流式音频数据,以及在会话周期内,按预设分析周期触发多模态分析路径基于交互数据进行多模态分析,得到多模态分析结果;将回复文本按语义片段进行分片处理,并基于分片后的回复文本和流式音频数据,驱动虚拟形象进行增量式音视频渲染,以生成虚拟形象音视频流;根据多模态分析结果生成第一反馈数据和第二反馈数据,其中,第一反馈数据通过页面可视化提示通道输出,第二反馈数据通过虚拟形象语音通道输出。

3、根据本公开的其中一方面,提供一种信息处理装置,包括:数据获取模块,被配置为在语音训练会话周期内,获取交互数据,交互数据包括音频数据流和视频数据流;数据分发模块,被配置为对交互数据进行分发处理,以触发语音处理路径基于音频数据流生成回复文本及流式音频数据,以及在会话周期内,按预设分析周期触发多模态分析路径基于交互数据进行多模态分析,得到多模态分析结果;渲染驱动模块,被配置为将回复文本按语义片段进行分片处理,并基于分片后的回复文本和流式音频数据,驱动虚拟形象进行增量式音视频渲染,以生成虚拟形象音视频流;反馈生成模块,被配置为根据多模态分析结果生成第一反馈数据和第二反馈数据,其中,第一反馈数据通过页面可视化提示通道输出,第二反馈数据通过虚拟形象语音通道输出。

4、根据本公开的其中一方面,提供一种电子设备,包括:存储器,存储有能够被处理器执行的计算机可执行指令;处理器,用于执行计算机可执行指令以实现以上任一方法。

5、根据本公开的其中一方面,提供一种计算机可读存储介质,存储有计算机程序,程序被处理器执行时实现以上任一方法。

6、本公开其中一实施例提供一种信息处理方法,包括:在语音训练会话周期内,获取交互数据,交互数据包括音频数据流和视频数据流;对交互数据进行分发处理,以触发语音处理路径基于音频数据流生成回复文本及流式音频数据,以及在会话周期内,按预设分析周期触发多模态分析路径基于交互数据进行多模态分析,得到多模态分析结果;将回复文本按语义片段进行分片处理,并基于分片后的回复文本和流式音频数据,驱动虚拟形象进行增量式音视频渲染,以生成虚拟形象音视频流;根据多模态分析结果生成第一反馈数据和第二反馈数据,其中,第一反馈数据通过页面可视化提示通道输出,第二反馈数据通过虚拟形象语音通道输出。这样,通过同步处理音频数据流与视频数据流,并驱动虚拟形象进行增量式音视频渲染,降低音视频输出时延,提升口语训练交互的连贯性;同时,有助于减少服务端渲染任务积压与并发运算压力,降低内存资源占用,并基于多模态分析结果通过不同通道提供并行反馈,提升交互响应的稳定性与反馈效率。

1.一种信息处理方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述驱动虚拟形象进行增量式音视频渲染,包括:

3.根据权利要求1所述的方法,其特征在于,所述根据所述多模态分析结果生成第一反馈数据和第二反馈数据,包括:

4.根据权利要求1所述的方法,其特征在于,所述方法还包括:

5.根据权利要求1所述的方法,其特征在于,所述方法还包括:

6.根据权利要求5所述的方法,其特征在于,所述根据所述待表达语义内容生成对话维持数据,包括:

7.根据权利要求1所述的方法,其特征在于,所述根据所述多模态分析结果生成第一反馈数据和第二反馈数据,包括:

8.一种信息处理装置,其特征在于,包括:

9.一种电子设备,其特征在于,包括:

10.一种计算机可读存储介质,其特征在于,存储有计算机程序,所述程序被处理器执行时实现如权利要求1-7任一项所述的方法。