一种面向智能客服的多模态虚拟数字人交互方法与流程

本发明涉及人工智能交互，具体为一种面向智能客服的多模态虚拟数字人交互方法。

背景技术：

1、人工智能交互技术领域是以语音识别、自然语言处理、图像识别、语义理解和人机交互控制为基础，使机器能够围绕用户输入进行理解、分析与反馈的技术方向。随着线上业务办理、远程咨询和自动问答场景不断扩展，智能客服领域逐渐由单一文本问答转向结合语音、图像、业务知识和交互流程的综合服务形态。在此基础上，多模态虚拟数字人交互被引入智能客服场景，通过虚拟形象承载语音、表情、动作和文本反馈，使用户在上传业务材料图片并提出咨询时，能够获得更贴近人工客服的交互体验。

2、在多模态虚拟数字人交互场景中，用户咨询往往同时包含业务材料图片和文字或语音诉求，现有处理方式通常侧重于识别图片文字或理解用户问题本身，较少对材料状态、用户诉求、证据短语和后续交互动作进行统一分析。由于业务材料中的状态信息、结果信息和证据片段分布在不同文字块中，用户诉求又可能包含办理、查询、复核、补充等不同意图，若仅依赖固定问答模板或单轮语义匹配，容易出现答复内容与材料证据脱节、补问内容不清晰、状态核验入口触发不准、办理引导不连贯等问题，影响虚拟数字人在智能客服业务中的交互质量。

技术实现思路

1、针对现有技术的不足，本发明提供了一种面向智能客服的多模态虚拟数字人交互方法，解决了上述背景技术中的问题。

2、为实现以上目的，本发明通过以下技术方案予以实现：一种面向智能客服的多模态虚拟数字人交互方法，包括：

3、接收当前会话中的业务材料图片和用户咨询内容，解析业务材料图片生成材料状态语义，并对咨询内容进行分词生成用户诉求语义；

4、将材料状态语义和用户诉求语义封装为语义单元序列，进行语义编码和线性映射后计算各语义单元的注意力权重并组织配准项形成语义配准序列，对语义配准序列执行动作类型配置获得编辑动作记录，排序后形成材料诉求语义编辑片段；

5、按序位读取材料诉求语义编辑片段生成回合标记并形成片段评估结果，在片段评估结果为交互构造评估结果时，筛除证据承接动作形成消解单元，并确定回填位置和执行方式；

6、在片段评估结果为证据答复评估结果或接续评估结果时，核验编辑动作和证据短语并输出证据说明或人工接续评估结论，再依据执行方式复算材料诉求语义编辑片段，并控制虚拟数字人输出接续提示或交互完成提示。

7、优选的，智能客服系统在当前会话中接收用户上传的业务材料图片，并接收用户输入的文字咨询内容；若用户输入为语音时，将语音输入转换为语音转写文本；

8、对业务材料图片执行图像文字识别，获得图片文字块；

9、对图片文字块执行版面语义分析，获得各图片文字块在业务材料图片中的版面位置和阅读顺序；

10、对图片文字块执行命名实体识别，获得业务实体集合，再依据业务融合知识库组件中的业务状态模板对业务实体进行状态归一化处理，形成材料状态语义；

11、其中，业务实体集合包括业务对象实体、状态实体、结果实体和证据实体；业务状态模板包括业务对象槽、状态词槽、状态结果槽、证据短语槽、状态类型、状态值和证据短语；材料状态语义包括状态类型、状态值和证据短语。

12、优选的，对文字咨询内容或语音转写文本进行分词处理，获得待匹配词槽集合，再依据智能交互知识库组件记载的诉求模板与待匹配词槽集合进行词槽匹配，当待匹配词槽集合中的动作词段、业务对象词段、疑问词段或状态词段被同一诉求模板接收时，将当前诉求模板的诉求类型和目标状态作为用户诉求语义；

13、其中，待匹配词槽集合包括动词词段、业务对象词段、疑问词段和状态词段；诉求模板包括作词槽、业务对象词槽、疑问词槽、目标状态词槽、诉求类型和目标状态；用户诉求语义包括诉求类型和目标状态。

14、优选的，分别对所有材料状态语义和用户诉求语义进行统一格式封装，获得包括材料语义单元序列和诉求语义单元序列的语义单元序列，并采用同一语义编码器分别对材料语义单元序列和诉求语义单元序列进行编码，获得材料编码序列和诉求编码序列，对诉求编码序列进行线性映射获取查询向量，对材料编码序列进行线性映射获得键向量和值向量；

15、对各诉求语义单元对应的查询向量和键向量分别进行点积运算，获得若干个初始匹配值，并依据键向量维度对若干个初始匹配值进行缩放后执行softmax归一化处理，获得当前诉求语义单元相对于各材料语义单元的注意力权重，依据注意力权重对材料语义单元进行排序并选取排序位于第一位的材料语义单元，并提取当前材料语义单元同源的证据短语形成配准项，依据诉求语义单元序列的排列顺序组织配准项，获得语义配准序列。

16、优选的，对语义配准序列执行动作类型配置，获得编辑动作记录，包括：

17、若配准项中的诉求语义单元和材料语义单元具有相同单元语义，且当前材料语义单元具有同源的证据短语时，以当前配准项中的诉求语义单元和材料语义单元为编辑对象，以相同单元语义和同源证据短语为证据短语标识，将动作类型配置为证据承接动作；

18、若配准项中的诉求语义单元未能由材料语义单元表达，且当前诉求语义单元来源于诉求类型或目标状态时，以当前配准项中的诉求语义单元为编辑对象，以诉求语义单元的来源标识为证据短语标识，将动作类型配置为诉求补入动作；

19、若配准项中的诉求语义单元和材料语义单元指向同一状态类型，且材料语义单元中的状态值不同于诉求语义单元中的目标状态时，以当前配准项中的诉求语义单元和材料语义单元为编辑对象，以同一状态类型、材料语义单元的状态值和诉求语义单元的目标状态证据短语标识，将动作类型配置为状态复核动作；

20、若诉求语义单元来源于诉求类型，且诉求类型为继续办理或查询进度，并且材料语义单元中的状态值表示当前业务未进入结束状态时，以当前配准项中的诉求语义单元和材料语义单元为编辑对象，以诉求类型和材料语义单元的状态值为证据短语标识，将动作类型配置为流程推进动作；

21、编辑动作记录包括证据承接动作、诉求补入动作、状态复核动作和流程推进动作；

22、依据诉求语义单元序列的排列顺序组织编辑动作记录获得材料诉求语义编辑片段。

23、优选的，依据编辑动作记录的序位逐项读取同序位材料诉求语义编辑片段中的编辑动作、编辑对象和证据短语，并为每个序位生成回合标记；其中，序位表示材料诉求语义编辑片段中的编辑动作序列、编辑对象序列和证据短语序列依据相同排列顺序设置后，处于相同排列位置的数据为同一序位；

24、若当前编辑动作为证据承接动作且同序位编辑对象完整、证据短语不为空时，将回合标记为证据答复回合；

25、若当前编辑动作为诉求补入动作且同序位编辑对象包含诉求语义单元时，将回合标记为单项补问回合；

26、若当前编辑动作为状态复核动作且同序位编辑对象包含诉求语义单元和材料语义单元、动作依据包含状态值和目标状态以及证据短语不为空时，将回合标记为状态核验回合；

27、若当前编辑动作为流程推进动作且同序位编辑对象包含诉求语义单元和材料语义单元、动作依据包含诉求类型和状态值且证据短语不为空时，将回合标记为办理引导回合；

28、若当前序位不满足任一回合标记的形成条件时，将回合标记为接续整理回合。

29、优选的，根据全部回合标记形成片段评估结果：

30、全部回合标记均为证据答复回合时，片段评估结果为证据答复；

31、存在单项补问回合、状态核验回合或办理引导回合，且不存在接续整理回合时，片段评估结果为交互构造；

32、存在接续整理回合时，片段评估结果为接续。

33、优选的，在片段评估结果为交互构造评估结果时，从材料诉求语义编辑片段中筛除证据承接动作，保留诉求补入动作、状态复核动作和流程推进动作，获得待消解编辑动作序列，并读取待消解编辑动作序列中各待消解编辑动作在材料诉求语义编辑片段中同序位的编辑对象和证据短语，形成一个消解单元，再依据当前编辑动作确定各消解单元的回填位置；

34、待消解编辑动作为诉求补入动作时，编辑对象为未由材料语义单元表达的诉求语义单元，将当前消解单元的回填位置确定为用户诉求语义；

35、待消解编辑动作为状态复核动作或流程推进动作时，编辑对象包括诉求语义单元和材料语义单元，证据短语包括状态值和目标状态，此时将当前消解单元的回填位置确定为材料状态语义；

36、依据当前待消解编辑动作和当前回填位置获取消解单元执行方式，包括：

37、待消解编辑动作为诉求补入动作且回填位置为用户诉求语义时，执行方式为接收用户补充；

38、待消解编辑动作为状态复核动作且回填位置为材料状态语义时，执行方式为调用状态核验入口；

39、待消解编辑动作为流程推进动作且回填位置为材料状态语义时，执行方式为调用办理入口。

40、优选的，片段评估结果为证据答复评估结果时，核验材料诉求语义编辑片段中的编辑动作序列是否仅包含证据承接动作，并核验材料诉求语义编辑片段中的证据短语序列是否存在与编辑对象同序位的证据短语；当核验均通过时，表示当前虚拟数字人适合围绕业务材料图片进行证据说明，否则，表示当前虚拟数字人不适合进行证据说明，并输出人工接续评估结论；

41、片段评估结果为接续评估结果时，读取材料诉求语义编辑片段中未满足回合构造条件的编辑动作及其编辑对象，并输出人工接续评估结论；

42、其中，人工接续评估结论表示当前虚拟数字人停止独立生成后续交互内容，依据材料诉求语义编辑片段中的编辑动作、编辑对象和证据短语生成接续摘要供人工客服或后端客服流程继续处理。

43、优选的，依据消解单元执行方式逐一执行各消解单元的输出内容和回填位置；

44、消解单元执行方式为接收用户补充时，虚拟数字人输出当前消解单元中的输出内容，此时接收用户补充内容并依据当前消解单元中的回填位置归入用户诉求语义；

45、消解单元执行方式为调用状态核验入口时，虚拟数字人输出当前消解单元中的输出内容，此时通过状态核验入口取得状态核验返回内容，并依据当前消解单元中的回填位置归入材料状态语义；

46、消解单元执行方式为调用办理入口时，虚拟数字人输出当前消解单元中的输出内容，此时通过办理入口取得办理返回内容，并依据当前消解单元中的回填位置归入材料状态语义；

47、基于更新后的材料诉求语义进行迭代分析，重新获取材料诉求语义编辑片段，并在重新获取材料诉求语义编辑片段中检索当前消解单元中的待消解编辑动作和消解对象；

48、若不存在当前待消解编辑动作和当前消解对象，表示当前消解单元通过复算，此时继续执行下一消解单元；

49、若仍存在当前待消解编辑动作和当前消解对象，表示当前消解单元未通过复算，此时停止执行剩余消解单元，并根据当前消解单元的输出内容控制虚拟数字人输出接续提示；

50、当消解单元序列中的全部消解单元均通过复算时，依据各消解单元的输出内容形成交互完成提示内容，并控制虚拟数字人输出交互完成提示内容。

51、本发明提供了一种面向智能客服的多模态虚拟数字人交互方法。具备以下有益效果：

52、（1）该方法接收当前会话中的业务材料图片和用户咨询内容后，对业务材料图片执行图像文字识别、版面语义分析、命名实体识别和状态归一化处理，获取图片文字块、版面位置、阅读顺序、业务实体集合、状态类型、状态值、证据短语和材料状态语义；同时，对文字咨询内容或语音转写文本进行分词处理，并依据待匹配词槽集合和诉求模板获取诉求类型、目标状态和用户诉求语义。相较于仅依据用户咨询内容进行意图识别的智能客服方式，本方法能够同时利用业务材料图片中的证据短语和用户咨询内容中的目标状态，使虚拟数字人的答复基础由单一文本意图转为业务材料图片和用户咨询内容的联合分析，适合材料核验、进度查询、继续办理等业务场景。

53、（2）该方法将材料状态语义和用户诉求语义封装为包括材料语义单元序列和诉求语义单元序列的语义单元序列，并通过语义编码器获取材料编码序列和诉求编码序列，再通过查询向量、键向量和值向量计算初始匹配值和注意力权重，依据注意力权重组织配准项形成语义配准序列。随后，对语义配准序列配置证据承接动作、诉求补入动作、状态复核动作和流程推进动作，形成编辑动作记录和材料诉求语义编辑片段。相较于固定问答库、单轮意图分类或通用话术生成方式，本方法能够围绕诉求语义单元、材料语义单元、同源的证据短语、状态值和目标状态区分证据答复、信息补问、状态复核和流程推进等处理任务，使虚拟数字人的交互内容更贴近业务材料事实和用户办理目的。

54、（3）该方法依据材料诉求语义编辑片段中的编辑动作、编辑对象和证据短语生成回合标记，并形成片段评估结果；当片段评估结果为交互构造评估结果时，筛除证据承接动作，保留诉求补入动作、状态复核动作和流程推进动作，形成待消解编辑动作序列、消解单元、回填位置和执行方式；当片段评估结果为证据答复评估结果或接续评估结果时，对编辑动作序列、证据短语序列、未满足回合构造条件的编辑动作及其编辑对象进行核验，并输出证据说明或人工接续评估结论。随后依据执行方式处理用户补充内容、状态核验返回内容或办理返回内容，并基于更新后的材料状态语义和用户诉求语义迭代分析，重新获取材料诉求语义编辑片段，使虚拟数字人能够在证据充分时输出交互完成提示内容，在信息缺失、状态不一致或流程无法继续时输出接续提示或接续摘要，达到多模态材料理解、用户诉求分析、业务证据说明、交互补全和人工接续协同处理的目的。