一种基于视觉感知的数字人交互唤醒与个性化响应方法及系统与流程

本发明涉及电数字数据处理及人机交互，尤其涉及一种基于视觉感知的数字人交互唤醒与个性化响应方法及系统。

背景技术：

1、随着人工智能发展，数字人已演进为能参与业务办理、信息咨询等任务的智能交互主体。现有系统通常依赖唤醒词、按键点击等方式启动交互，再通过语音识别、大语言模型生成响应。然而，现有技术存在以下不足：

2、第一，交互唤醒不自然，未充分利用视觉注意力，导致唤醒生硬、误唤醒率高；第二，多模态理解深度不足，仅特征级拼接，难以处理口头表达与视觉行为冲突时的深层意图推理；第三，个性化响应缺乏安全可控性，大语言模型存在事实幻觉、越权回答、敏感内容泄露等问题，且个性化仅基于模板替换；第四，端云架构难以兼顾实时性、准确性与隐私保护；第五，系统多为被动应答，缺乏主动澄清与引导能力。

3、因此，亟需一种以视觉感知为自然触发入口、以神经符号融合实现可解释意图理解、以检索增强生成和安全护栏实现安全可控响应、以云边端协同实现低延迟和隐私保护的技术方案。

技术实现思路

1、本发明提供了一种基于视觉感知的数字人交互唤醒与个性化响应方法及系统，以解决现有数字人交互系统唤醒方式不自然、多模态理解不可解释、个性化响应安全性不足、端云架构难以兼顾实时性与准确性以及系统缺乏持续进化能力的问题。

2、第一方面，本发明实施例提供了一种基于视觉感知的数字人交互唤醒与个性化响应方法，包括：

3、获取连续图像流中的视觉行为信息，基于所述视觉行为信息确定用户视觉注意状态与交互候选状态；

4、在所述交互候选状态满足唤醒条件时，获取与所述交互候选状态时间关联的多模态感知信息，并对所述多模态感知信息进行时序对齐与语义识别；

5、将语义识别得到的连续特征转换为离散化符号元组，对所述符号元组进行规则推理和置信融合，确定可解释的高层意图符号；

6、基于所述高层意图符号和历史符号序列构建当前交互上下文，并根据所述当前交互上下文执行符号引导检索，得到候选事实信息；

7、根据所述高层意图符号、所述当前交互上下文、所述候选事实信息和用户个性化档案构建个性化生成提示，生成候选响应并进行安全审查，确定目标响应内容和结构化驱动信息；

8、依据所述结构化驱动信息控制所述目标响应内容对应的语音、表情、口型和动作的同步输出，并基于交互结果更新符号历史和个性化档案。

9、可选的，所述获取连续图像流中的视觉行为信息，基于所述视觉行为信息确定用户视觉注意状态与交互候选状态，包括：

10、从连续图像流中提取面部特征点、视线方向、头部姿态、口部活动状态和手势动作中的至少一种视觉行为特征；

11、对所述视觉行为特征进行归一化处理，得到与注视持续时间、视线偏移角、头部朝向稳定度、口部运动幅度和手势语义置信度对应的视觉状态参数；

12、基于所述视觉状态参数计算视觉注意评分；

13、当所述视觉注意评分满足预设注意条件，且所述口部活动状态、手势动作或头部姿态中至少一种满足交互触发条件时，确定所述用户处于交互候选状态。

14、可选的，所述获取与所述交互候选状态时间关联的多模态感知信息，并对所述多模态感知信息进行时序对齐与语义识别，包括：

15、基于所述交互候选状态的触发时间确定前向时间窗和后向时间窗；

16、获取所述前向时间窗和所述后向时间窗内的图像片段、音频片段和交互日志中的至少两类数据，作为所述多模态感知信息；

17、对所述多模态感知信息进行时间戳校正、采样率统一、噪声抑制和缺失片段补齐；

18、对处理后的多模态感知信息进行视觉语义识别、语音文本识别、情感极性识别和行为意图识别，得到与不同模态对应的语义识别结果。

19、可选的，所述将语义识别得到的连续特征转换为离散化符号元组，对所述符号元组进行规则推理和置信融合，确定可解释的高层意图符号，包括：

20、将视觉语义识别结果转换为包括实体、动作、姿态、表情、情感标签、置信度和时间戳的视觉符号元组；

21、将语音文本识别结果转换为包括实体、言语行为、文本内容、情感极性、关键词、置信度和时间戳的文本符号元组；

22、将所述视觉符号元组和所述文本符号元组按照时间重叠度、语义一致度和置信度进行对齐；

23、基于预设推理规则、历史交互规则和场景约束规则对对齐后的符号元组进行逻辑推理，得到高层意图符号；

24、其中，所述高层意图符号包括意图类型、意图对象、情感强度、交互紧迫度、置信度和推理证据链中的至少一种。

25、可选的，基于预设推理规则、历史交互规则和场景约束规则对对齐后的符号元组进行逻辑推理，得到高层意图符号，包括：

26、当视觉符号元组与文本符号元组在预设时间窗口内满足同向情感条件时，提高与所述同向情感条件对应的候选意图置信度；

27、当视觉符号元组与文本符号元组存在语义冲突时，根据模态可靠度、场景敏感度和用户历史表达习惯确定主导模态，并降低存在冲突的候选意图置信度；

28、当候选意图置信度低于澄清阈值时，生成用于主动澄清的高层意图符号；

29、当候选意图置信度不低于确认阈值时，输出与最高置信度候选意图对应的高层意图符号及其推理证据链。

30、可选的，所述基于所述高层意图符号和历史符号序列构建当前交互上下文，并根据所述当前交互上下文执行符号引导检索，得到候选事实信息，包括：

31、从历史符号序列中选取与所述高层意图符号在时间距离、意图类型和意图对象上满足相关条件的符号记录，得到短期符号化上下文；

32、将所述高层意图符号、所述短期符号化上下文和场景标识组合为符号化查询条件；

33、基于所述符号化查询条件生成检索向量，并根据意图类型、意图对象、情感强度和场景标识对检索结果进行重排序；

34、从重排序后的检索结果中选取满足事实可信度条件和权限条件的内容片段，作为候选事实信息。

35、可选的，所述根据所述高层意图符号、所述当前交互上下文、所述候选事实信息和用户个性化档案构建个性化生成提示，生成候选响应并进行安全审查，确定目标响应内容和结构化驱动信息，包括：

36、获取与用户标识对应的长期偏好摘要、交互风格标签、敏感内容约束和历史满意度记录，作为所述用户个性化档案；

37、按照系统指令区、行为边界区、用户个性化区、短期上下文区、检索事实区和当前意图区构建所述个性化生成提示；

38、基于所述个性化生成提示生成候选响应；

39、对所述候选响应进行输入合规校验、事实一致性校验、敏感内容校验、领域合规校验和输出可用性校验；

40、在所述候选响应通过安全审查时，将所述候选响应确定为目标响应内容，并生成与所述目标响应内容匹配的结构化驱动信息。

41、第二方面，本发明实施例提供了一种基于视觉感知的数字人交互唤醒与个性化响应系统，所述系统用于执行本发明任一实施例所述的基于视觉感知的数字人交互唤醒与个性化响应方法，所述系统包括：

42、视觉感知模块，用于获取连续图像流中的视觉行为信息，并基于所述视觉行为信息确定用户视觉注意状态与交互候选状态；

43、多模态识别模块，用于在所述交互候选状态满足唤醒条件时，获取与所述交互候选状态时间关联的多模态感知信息，并对所述多模态感知信息进行时序对齐与语义识别；

44、神经符号融合模块，用于将语义识别得到的连续特征转换为离散化符号元组，对所述符号元组进行规则推理和置信融合，确定可解释的高层意图符号；

45、上下文检索模块，用于基于所述高层意图符号和历史符号序列构建当前交互上下文，并根据所述当前交互上下文执行符号引导检索，得到候选事实信息；

46、个性化生成与安全审查模块，用于根据所述高层意图符号、所述当前交互上下文、所述候选事实信息和用户个性化档案构建个性化生成提示，生成候选响应并进行安全审查，确定目标响应内容和结构化驱动信息；

47、同步呈现模块，用于依据所述结构化驱动信息控制所述目标响应内容对应的语音、表情、口型和动作的同步输出；

48、闭环学习模块，用于基于交互结果更新符号历史和个性化档案。

49、第三方面，本发明实施例提供了一种电子设备，所述电子设备包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的基于视觉感知的数字人交互唤醒与个性化响应方法。

50、第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本发明任一实施例所述的基于视觉感知的数字人交互唤醒与个性化响应方法。

51、本发明实施例的技术方案，至少具有以下有益效果：

52、（1）通过获取连续图像流中的视觉行为信息，并基于视觉注意状态与交互候选状态进行唤醒判断，使数字人能够在用户持续注视、转头、张口、点头、挥手等自然行为出现时主动进入潜在交互状态，减少用户对固定唤醒词和点击入口的依赖，提高交互启动的自然性和准确性。通过将视觉、语音、文本和交互日志等多模态感知信息进行时序对齐和语义识别，再将连续特征转换为离散化符号元组，并基于规则推理和置信融合生成高层意图符号，本发明能够将不可解释的神经网络特征转化为可审计、可追溯、可组合推理的符号表达，从而提高复杂场景下意图理解的准确性和可解释性。

53、（2）通过基于高层意图符号构建当前交互上下文，并进行符号引导检索，使检索增强生成过程不仅关注字面关键词，而且关注用户深层意图、情绪强度和交互场景，能够使候选事实信息更加贴合用户真实需求，降低响应内容偏题或事实不可靠的概率。通过将系统指令、行为边界、长期个性化档案、短期符号化上下文、检索事实和当前高层意图共同构造成个性化生成提示，并对候选响应进行多层安全审查，本发明既能够利用大语言模型的生成能力实现共情化和个性化响应，又能够通过事实一致性校验、敏感内容校验和领域合规校验降低幻觉、越权和不合规输出风险。

54、（3）通过依据结构化驱动信息统一控制语音、表情、口型和动作同步输出，本发明能够使数字人的语音语调、面部表情、口型运动和身体动作在同一响应意图下协调呈现，提升数字人输出的一致性、真实感和用户接受度。通过基于交互结果更新符号历史和个性化档案，并结合联邦聚合和规则演进机制，本发明能够在不直接汇聚原始敏感数据的情况下持续优化个性化模型和符号推理规则，增强系统在不同业务场景下的长期适应能力。

55、应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。