一种基于大数据信息的数字人语音传感交互系统及方法与流程

本发明涉及数字人交互，尤其涉及一种基于大数据信息的数字人语音传感交互系统及方法。

背景技术：

1、随着语音识别、自然语言处理和数字人渲染技术的发展，数字人已广泛应用于智能客服、政务服务和业务咨询场景。现有数字人交互方案通常采集用户语音，将语音转换为文本后输入自然语言生成模型，生成回复文本，再驱动数字人完成语音、口型、表情和动作输出。为提高回复准确性，部分方案接入知识库或业务数据库，为回复生成提供外部信息。

2、现有方案通常在回复生成前完成一次信息检索，将检索结果作为模型输入，缺少对关键事实的持续保持和生成过程管理。生成模型在较长回复中容易遗漏事实，或者在不同应答阶段读取不匹配信息。现有注意力掩码多采用固定结构，难以随应答阶段调整信息读取范围。

3、现有回复生成多采用连续解码。当生成过程中出现事实缺失、事实冲突或适用条件不完整时，模型仍会继续生成，容易导致数字人回复不完整或与业务数据不一致。

4、因此，如何提供一种基于大数据信息的数字人语音传感交互系统及方法是本领域技术人员亟需解决的问题。

技术实现思路

1、本发明的一个目的在于提出一种基于大数据信息的数字人语音传感交互系统及方法，本发明利用语音传感、unilm应答生成、大数据信息调用和数字人驱动技术，通过事实保持寄存器、动态注意力掩码和生成中断点回检实现数字人自然语言交互，具备事实一致性高、回复完整性强和交互表达自然的优点。

2、根据本发明实施例的一种基于大数据信息的数字人语音传感交互方法，包括如下步骤：

3、获取语音传感设备采集的用户语音信号，对用户语音信号执行语音预处理，生成清晰语音信号；

4、将清晰语音信号输入语音识别模型，生成用户输入文本与识别置信信息；

5、依据用户输入文本从大数据信息库调用当前交互相关数据，从调用结果中抽取关键事实，将关键事实编码为事实隐状态，写入unilm层间设置的事实保持寄存器；

6、将用户输入文本输入unilm目标端，依据目标端当前隐藏状态确定应答生成阶段，按照应答生成阶段构造动态注意力掩码，unilm目标端读取对应事实隐状态与上下文隐状态；

7、在unilm目标端解码过程中，依据应答生成阶段所需事实与事实保持寄存器已存事实的匹配关系检测生成中断点，依据生成中断点从大数据信息库调用补充事实，更新事实保持寄存器；

8、基于更新后的事实保持寄存器与动态注意力掩码继续执行unilm目标端解码，生成数字人应答文本；

9、根据数字人应答文本生成数字人表达控制参数，驱动数字人输出语音、口型、表情与动作。

10、可选的，所述对用户语音信号执行语音预处理具体包括：

11、控制语音传感设备采集用户语音信号，对用户语音信号执行模数转换；

12、对经过模数转换的用户语音信号进行分帧加窗处理，依据短时能量与过零率确定有效语音区间；

13、对有效语音区间内的用户语音信号执行环境噪声估计、回声消除、频谱增强与幅度归一化处理；

14、对处理后的用户语音信号进行帧间拼接，生成清晰语音信号。

15、可选的，所述将清晰语音信号输入语音识别模型具体包括：

16、对清晰语音信号提取声学特征，按照时间顺序将声学特征输入语音识别模型；

17、通过语音识别模型的声学编码网络对声学特征进行上下文编码，得到语音编码特征；

18、通过语音识别模型的解码网络对语音编码特征进行逐步解码，生成若干个候选词元序列及每个候选词元序列对应的序列概率；

19、按照序列概率从若干个候选词元序列中确定目标词元序列；

20、对目标词元序列执行词元合并、标点恢复与文本规范化处理，生成用户输入文本；

21、根据目标词元序列中各目标词元的解码概率计算识别置信信息。

22、可选的，所述从调用结果中抽取关键事实具体包括：

23、对用户输入文本进行语义编码，依据语义编码结果在大数据信息库中检索与当前交互主题一致的数据记录；

24、按照数据记录的来源标识、生成时间与语义相关度对检索得到的数据记录进行排序，选取排序结果中的数据记录作为调用结果；

25、对调用结果进行文本规范化处理，将调用结果中的实体名称、业务对象、数值内容、时间内容与状态内容转换为统一表达形式；

26、依据用户输入文本中的询问对象和询问关系，从经过文本规范化处理的调用结果中抽取与当前交互主题对应的事实内容，生成关键事实。

27、可选的，所述写入unilm层间设置的事实保持寄存器具体包括：

28、将关键事实与用户输入文本输入unilm编码端，通过unilm编码端生成源端隐藏状态；

29、从源端隐藏状态中提取与关键事实对应的事实寄存单元，每个事实寄存单元保存一种事实类别对应的内部事实表示；

30、在unilm每个transformer层之后设置寄存器更新单元，通过寄存器更新单元从当前层源端隐藏状态中刷新事实寄存单元，将刷新后的事实寄存单元传递至下一层目标端隐藏状态计算过程；

31、在unilm目标端生成词元时，将目标端自注意力计算结果与事实寄存单元的当前状态共同输入目标端前馈计算过程；

32、当目标端已生成内容覆盖事实寄存单元对应的关键事实时，将事实寄存单元标记为已使用状态，在后续目标端解码中读取未标记为已使用状态的事实寄存单元。

33、可选的，所述按照应答生成阶段构造动态注意力掩码具体包括：

34、在unilm目标端每一轮词元生成过程中，获取当前层目标端隐藏状态，将当前层目标端隐藏状态输入阶段状态单元，生成离散阶段状态；

35、将离散阶段状态映射为应答生成阶段，应答生成阶段依据已生成内容在数字人应答文本中的语义位置进行区分；

36、依据应答生成阶段确定当前轮词元生成的可见位置集合，可见位置集合由用户输入文本对应的上下文隐状态、事实保持寄存器中的事实隐状态和目标端已生成内容对应的隐藏状态组成；

37、根据可见位置集合构造动态注意力掩码，将动态注意力掩码送入unilm目标端自注意力计算流程；

38、unilm目标端按照动态注意力掩码读取对应事实隐状态与上下文隐状态，生成当前轮词元，依据当前轮词元更新目标端隐藏状态。

39、可选的，所述依据生成中断点从大数据信息库调用补充事实具体包括：

40、在unilm目标端每轮解码后，依据当前应答生成阶段确定当前解码位置需要读取的目标事实类别；

41、将目标事实类别与事实保持寄存器中未标记为已使用状态的事实寄存单元进行匹配；

42、当事实保持寄存器中不存在与目标事实类别匹配的事实寄存单元，或者存在与目标事实类别匹配但事实状态为冲突状态的事实寄存单元时，生成对应的生成中断点并暂停目标端解码；

43、依据生成中断点对应的目标事实类别生成回检请求，将回检请求发送至大数据信息库并调用补充事实；

44、将补充事实输入unilm编码端，生成补充事实隐状态，将补充事实隐状态写入事实保持寄存器，并将事实状态设置为有效状态；

45、基于更新后的事实保持寄存器恢复unilm目标端解码。

46、可选的，所述执行unilm目标端解码具体包括：

47、读取更新后的事实保持寄存器，重新构造当前解码位置的动态注意力掩码；

48、依据动态注意力掩码继续执行unilm目标端自注意力计算，逐轮生成后续词元；

49、对生成的词元序列执行合并与文本规范化处理，生成数字人应答文本。

50、可选的，所述驱动数字人输出语音、口型、表情与动作具体包括：

51、将数字人应答文本输入语音合成模型，生成应答语音和音素时间戳；

52、按照音素时间戳匹配口型参数；

53、对数字人应答文本进行情绪分类，生成表情参数；

54、将数字人应答文本中的动作触发词映射为动作参数；

55、将应答语音、口型参数、表情参数和动作参数同步发送至数字人渲染端，驱动数字人完成语音、口型、表情与动作输出。

56、根据本发明实施例的一种基于大数据信息的数字人语音传感交互系统，包括如下模块：

57、语音接入模块，用于接收语音传感设备采集的用户语音信号，输出经预处理后的清晰语音信号；

58、交互理解模块，用于将清晰语音信号转换为用户输入文本，确定当前交互意图；

59、数据调用模块，用于按照用户输入文本和当前交互意图访问大数据信息库，获取与当前交互场景对应的数据记录；

60、事实管理模块，用于从数据记录中抽取关键事实，将关键事实写入事实保持寄存器，在生成过程中对事实保持寄存器进行更新；

61、应答生成模块，用于调用unilm生成数字人应答文本，在生成过程中按照应答生成阶段调整动态注意力掩码；

62、回检控制模块，用于检测数字人应答文本生成过程中的事实缺失状态和事实冲突状态，调用补充事实更新事实保持寄存器；

63、数字人驱动模块，用于根据数字人应答文本生成语音、口型、表情和动作控制参数，驱动数字人完成交互输出。

64、本发明的有益效果是：

65、（1）本发明通过将关键事实编码为事实隐状态，写入unilm层间设置的事实保持寄存器，使数字人应答生成过程能够持续读取与当前交互相关的事实内容，减少长文本生成过程中关键事实遗漏、事实混用和事实前后不一致的问题，提高数字人回复的事实一致性。

66、（2）本发明通过阶段状态单元确定应答生成阶段，并按照应答生成阶段构造动态注意力掩码，使unilm目标端在不同解码阶段读取对应的事实隐状态、上下文隐状态和已生成内容，避免固定注意力结构导致的信息读取范围不匹配，提高数字人回复的结构完整性和语义连贯性。

67、（3）本发明通过在unilm目标端解码过程中检测生成中断点，并根据生成中断点从大数据信息库调用补充事实后更新事实保持寄存器，使数字人回复生成过程能够在事实缺失、事实冲突或适用条件不完整时进行回检补充，降低错误回复和不完整回复的发生概率，提高数字人交互输出的可靠性。