一种虚拟数字人的AI算法驱动及互动娱乐系统的制作方法
本发明涉及数字文化创意虚拟数字人与人工智能交叉,具体为一种虚拟数字人的ai算法驱动及互动娱乐系统。
背景技术:
1、虚拟数字人系统通常由大语言模型对话生成模块、文本转语音模块、音频驱动的面部及肢体动画模块、三维渲染引擎四个部分串联组成,大语言模型根据用户输入生成回复文本,文本转语音模块将回复文本合成为语音波形,音频驱动模块基于声音的音素特征、音高及能量包络提取驱动参数,控制预设的面部混合形变基及骨骼动画库播放,最终经渲染引擎输出可视化的数字人形象;
2、与本发明最接近的现有技术方案中,虚拟数字人交互系统普遍采用如下串行处理管线:
3、首先由大语言模型接收用户输入并完整生成回复文本;
4、随后由文本转语音模块以回复文本为输入合成语音音频;
5、接着由音频驱动算法基于语音波形提取音素时间戳、基频、能量等声学特征,并据此驱动预先训练或者规则设定的唇形同步模型及有限的表情动作库;
6、最后由渲染引擎将驱动后的骨骼与混合形变参数渲染为可视化画面,并以视频流或者本地渲染的方式呈现给用户,在人格一致性维护方面,现有方案通常在每次调用大语言模型之前,将角色设定文本、历史对话记录等信息拼接至提示词中一并输入模型,以此约束角色的语言风格与行为一致性,在渲染分发方面,现有方案多采用云端集中渲染后以视频流分发给各终端用户,或者在终端采用低多边形模型进行本地渲染以降低算力需求;
7、上述现有技术存在以下缺陷:
8、其一,由于大语言模型需要完整生成回复文本后才能启动语音合成,语音合成完整音频后才能启动音频驱动动画,动画驱动完成后才能进行渲染,四个环节严格串行执行,导致端到端交互延迟较高,用户能够明显感知到响应迟滞,破坏沉浸式互动体验;
9、其二,由于音频驱动模块仅能从声音的物理声学特征中提取驱动参数,而声学特征无法完整承载文本背后的深层语义意图,例如讽刺、双关等复杂情感表达,因此即便大语言模型生成了语义丰富的文本,只要语音合成的语调平淡,后续驱动算法必然只能生成与语调匹配的平淡表情,无法产生与语义意图相匹配的精细面部微表情与肢体动作,形成语义与动作表达割裂的问题;
10、其三,由于现有人格维持方案依赖将角色设定与历史对话文本拼接进提示词,当并发用户数量增加或者对话轮次增多时,提示词长度随之膨胀,导致推理成本随上下文长度增加而大幅上升,并且容易因大语言模型在长上下文中产生注意力稀释而引发人格设定被遗忘或者前后矛盾的人格一致性崩溃现象;
11、其四,由于现有渲染方案将高保真渲染任务集中于云端并按用户数量逐一分配独立的渲染实例,渲染所需的算力资源随并发用户数量线性增长,当并发规模扩大时,云端算力成本与硬件部署规模难以承受,只能以降低渲染精度或者增加渲染排队延迟作为妥协手段;
12、综上所述,现有虚拟数字人交互系统在交互延迟、语义与动作匹配精细度、人格一致性维持以及高并发场景下的渲染算力消耗方面均存在难以兼顾的技术瓶颈,亟需一种能够从底层架构上解决上述问题的虚拟数字人驱动方案。
技术实现思路
1、本发明要解决的技术问题包括:现有虚拟数字人交互系统采用文本生成、语音合成、音频驱动的串行处理架构,导致端到端交互延迟较高,且语义与动作表达割裂,难以生成与深层语义相匹配的精细化面部微表情与肢体动作;
2、在高并发互动娱乐场景下,现有基于提示词拼接的人格维持方案容易造成上下文窗口膨胀、推理成本增加以及人格一致性崩溃;
3、现有云端集中式高保真渲染方案的算力消耗随并发用户数量线性增长,难以兼顾渲染质量与高并发低延迟实时性。
4、为解决上述技术问题,本发明提供一种虚拟数字人的ai算法驱动及互动娱乐系统,包括语义情感动力学因果推理模块、人格约束模块与云边协同渲染模块。
5、所述语义情感动力学因果推理模块用于在大语言模型逐词元解码生成回复文本的过程中,实时提取当前词元对应的隐藏层语义特征向量,并基于预先训练固化的三层有向因果图谱,依次将所述语义特征向量映射为情感状态向量,再将所述情感状态向量与所述语义特征向量共同映射为骨骼旋转参数与面部混合形变权重,得到用于驱动虚拟数字人动作的动力学参数,从而在词元级阶段即可同步完成语义到动力学参数的因果推理,无需等待文本转语音环节完成。
6、所述人格约束模块用于将预先针对数字人角色训练得到的低秩适配矩阵嵌入大语言模型的注意力层,对大语言模型解码过程中的注意力得分矩阵进行修正,使经修正的隐藏层特征受到统一人格特征的底层约束,并将经约束的隐藏层特征传递至所述语义情感动力学因果推理模块,作为微表情基线状态的修正输入,从而以深度嵌入注意力层的方式替代表层提示词拼接方式实现人格一致性维持。
7、所述云边协同渲染模块用于在云端维护虚拟数字人的统一骨骼因果拓扑数据,针对每个用户会话计算相对于所述统一骨骼因果拓扑数据的骨骼旋转偏移量与面部混合形变权重偏移量,将得到的偏移量作为个性化情感响应增量参数下发至边缘终端设备,由边缘终端设备将所述个性化情感响应增量参数与本地预置的三维高斯基元库中的协方差矩阵与球谐函数系数进行绑定运算,并对绑定后的高斯基元集合执行光栅化渲染,从而使渲染算力消耗不再随并发用户数量线性增长。
8、采用上述技术方案,与现有技术相比,本发明的有益效果在于:
9、1.本发明通过在大语言模型解码词元的同时同步完成语义到动力学参数的因果推理,绕开文本转语音的等待环节,能够显著缩短端到端交互延迟,有效提升互动娱乐场景下的响应实时性;
10、2.本发明由于动力学参数直接由语义特征经因果图谱推理得到,而非由声学特征间接推导,使生成的微表情与肢体动作能够真正基于语义理解而非声学特征,解决语义与动作表达割裂的问题;
11、3.本发明通过将人格约束向量以低秩适配矩阵的形式深度内嵌于注意力层,使人格一致性约束不随并发用户数量或者对话轮次增加而衰减,同时各用户共享同一份人格权重矩阵而各自独立维护历史对话缓存,避免了上下文窗口膨胀带来的推理成本上升;
12、4.本发明通过云端仅维护统一骨骼拓扑并向边缘终端下发数据量远小于完整渲染帧的个性化情感响应增量参数,结合终端侧的自适应光栅化渲染,使渲染算力消耗与并发用户数量解耦,在同一系统架构下兼顾渲染质量与高并发低延迟实时性。
1.一种虚拟数字人的ai算法驱动及互动娱乐系统,其特征在于,包括:
2.根据权利要求1所述的系统,其特征在于,所述三层有向因果图谱包括语义节点层、情感节点层与动力学节点层,所述语义节点层中的每个节点对应所述大语言模型在生成某一词元时刻的隐藏层语义特征,所述情感节点层中的每个节点对应由所述语义节点层映射得到的情感状态,所述动力学节点层中的每个节点对应骨骼旋转参数与面部混合形变权重,所述语义节点层与所述情感节点层之间、所述情感节点层与所述动力学节点层之间分别以有向边连接,所述情感节点层内的节点之间设置有用于表示情感状态时间连续性约束的横向连接边。
3.根据权利要求1所述的系统,其特征在于,所述语义情感动力学因果推理模块被配置为在所述大语言模型每解码生成一个词元时即提取该词元对应的隐藏层语义特征向量并输入所述三层有向因果图谱进行推理,得到与该词元同步的动力学参数,不等待完整回复文本生成完成,也不等待文本转语音模块合成语音完成。
4.根据权利要求1所述的系统,其特征在于,所述人格约束模块包括针对所述数字人角色预先训练得到的降维矩阵与升维矩阵,所述降维矩阵与所述升维矩阵的乘积构成低秩增量矩阵,所述低秩增量矩阵与所述大语言模型注意力层原有的权重矩阵相加得到经修正的权重矩阵,所述经修正的权重矩阵用于计算所述注意力得分矩阵。
5.根据权利要求4所述的系统,其特征在于,所述人格约束模块被配置为在多用户并发请求场景下,将所述低秩增量矩阵设置为多个用户共享的固定参数,同时为每个用户各自独立分配并维护其历史对话的注意力键值缓存空间,各用户的注意力键值缓存空间在计算过程中互不覆盖。
6.根据权利要求1所述的系统,其特征在于,所述统一骨骼因果拓扑数据包括所述虚拟数字人的骨骼树结构与关节旋转约束范围,所述统一骨骼因果拓扑数据由多个用户会话共享,不因并发用户数量增加而产生额外的存储开销与计算开销。
7.根据权利要求1所述的系统,其特征在于,所述边缘终端设备被配置为将所述骨骼旋转偏移量转换为旋转变换矩阵,利用所述旋转变换矩阵对所述三维高斯基元库中高斯基元的协方差矩阵进行变换,同时利用所述个性化情感响应增量参数中与情感状态相关的颜色修正偏移量对所述高斯基元的球谐函数系数进行修正,得到用于渲染的高斯基元参数集合。
8.根据权利要求1所述的系统,其特征在于,所述边缘终端设备预置多档次渲染细节层级,实时监测本地渲染帧率,当渲染帧率低于预设阈值时切换至更低档次的渲染细节层级,当渲染帧率高于预设阈值时切换至更高档次的渲染细节层级,对调整后的高斯基元参数集合执行光栅化渲染,得到虚拟数字人的可视化画面。
9.一种虚拟数字人的ai算法驱动及互动娱乐方法,其特征在于,包括:在大语言模型逐词元解码生成回复文本的过程中,实时提取当前词元对应的隐藏层语义特征向量;
10.根据权利要求9所述的方法,其特征在于,在多用户并发请求场景下,将所述低秩适配矩阵设置为多个用户共享的固定参数,同时为每个用户各自独立分配并维护其历史对话的注意力键值缓存空间,各用户的注意力键值缓存空间在计算过程中互不覆盖。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com