基于多模态语义理解的老年人交互数字人管理系统的制作方法

本技术涉及数字人与数据处理，更具体地说，本技术涉及基于多模态语义理解的老年人交互数字人管理系统。

背景技术：

1、多模态语义理解是人机交互与智能服务过程中的关键手段与核心步骤，现有智慧养老领域已经开始利用交互数字人为老年用户提供日常陪伴与情感关怀服务；对该过程中的多模态语义识别与数字人行为的有效控制，用于保证交互的有效性和安全性；然而传统交互数字人管理系统在面对由老年用户情绪波动和多种约束条件造成的复杂场景时，依然面临着诸多技术瓶颈。

2、在实际交互场景中，老年用户的情绪表达时常因为瞬间的面部抽动、短暂语音停顿或者语言表述迟缓等因素，导致识别的情感特征出现高频抖动，然而传统认知行为干预系统多采用简单的阈值判断逻辑并且缺乏对于情绪变化趋势的有效确认，忽略了短时信号抖动的干扰，容易引发关怀响应时机的误判，进而导致在不需要干预时过度介入或者在需要干预时错过时机；此外，当干预指令下发后，从数字人实际执行动作起效到老年用户产生情绪响应之间存在一定缓冲时间，而且老年用户由于认知处理速度相对较慢，缓冲时间往往会更长，然而传统交互数字人管理系统并没有建立数字人动作执行与用户反馈之间的时间对齐关系，导致干预动作与情绪反馈之间产生时间归因错位；同时在干预执行过程中，用户由于情绪波动会产生例如躲避视线或身体后仰等下意识的抗拒姿态或者动作，然而传统认知行为干预系统仅依赖预设的干预策略模板，忽略了老年用户对交互介入接受程度的变化，很可能导致数字人在老年用户极度敏感时突然靠近，进而引发进一步的心理刺激；另一方面，老年人情感关怀是一个伴随情绪起伏的动态引导过程，老年用户在接受关怀时会因为交互内容触及敏感心理，而传统交互数字人管理系统多采用固定的状态反馈逻辑，难以区分由于关怀诱发的正常过渡情绪波动现象，容易将正常的过渡反应误判为关怀失败，从而过早中断交互或错误切换关怀阶段，破坏了情感关怀流程的连贯性，导致最终的引导效果不佳。

3、鉴于此，本技术提出基于多模态语义理解的老年人交互数字人管理系统以解决上述问题。

技术实现思路

1、为了克服现有技术的上述缺陷，为实现上述目的，本技术提供如下技术方案：基于多模态语义理解的老年人交互数字人管理系统，包括：

2、数据采集模块，实时采集用户与数字人交互过程中的多模态数据，包括用户情感数据、用户姿态数据和数字人动作执行数据；

3、情感识别模块，基于用户情感数据执行情感识别，针对情感识别结果进行情绪演化趋势判定，确定干预触发等级；

4、控制参数生成模块，当干预触发等级满足预设触发条件时，基于情绪演化趋势匹配目标认知干预模式并确定当前认知行为干预阶段；结合当前认知行为干预阶段中用户的实时多模态数据和数字人动作执行数据，确定数字人对用户的物理干预区间；基于该物理干预区间生成与当前认知行为干预阶段对应的语音干预数据和数字人交互控制参数；

5、反馈识别模块，基于数字人交互控制参数和语音干预数据控制数字人执行干预交互；记录干预指令下发时间戳，提取数字人动作执行数据中的交互起效时间戳，对干预前后的用户情感数据进行时间响应校正，输出有效干预响应区间以及该有效干预响应区间内的目标情感反馈数据；

6、参数更新模块，基于目标情感反馈数据确定干预后的用户情感状态变化，并执行干预效果评估；在执行干预效果评估中识别由当前认知行为干预阶段引发的异常情绪波动，以确定真实干预响应状态；基于该真实干预响应状态更新认知行为干预阶段，以及语音干预数据和数字人交互控制参数；各个模块之间通过有线和/或无线的方式进行连接。

7、进一步地，基于用户情感数据执行情感识别的方式包括：

8、提取用户情感数据中的用户语音数据和用户面部图像数据；

9、测量用户语音数据的语音基础频率、语音语速和语音停顿时长构造语音情感特征；测量用户面部图像数据的眉毛变化幅度、眼睑开合度和嘴角偏转幅度构成面部表情特征；

10、计算语音情感特征中每一项与预设语音基准值的差值，并基于预设语音元素比例加权求和，得到语音情绪强度；计算面部表情特征中每一项与预设表情基准值的差值，基于预设表情元素比例加权求和得到表情情绪强度；

11、识别相同采样周期的用户姿态数据中的面部可见比例、身体朝向偏转角和肢体移动速度；若面部可见比例小于预设比例阈值或身体朝向偏转角大于预设偏转阈值时，设定表情权重小于语音权重；将肢体移动速度与预设速度区间进行匹配得到姿态情绪补偿量；

12、利用表情权重和语音权重对表情情绪强度和语音情绪强度进行加权求和，并与姿态情绪补偿量进行叠加得到综合情绪强度；

13、将语音情感特征和面部表情特征与预设情绪参数表进行匹配，输出情绪类别标签，结合综合情绪强度输出情感识别结果。

14、进一步地，进行情绪演化趋势判定的方式包括：

15、将连续采样周期的综合情绪强度和情绪类别标签形成情绪序列；

16、计算情绪序列中相邻综合情绪强度的强度差值，若存在强度差值大于预设波动阈值，则将对应综合情绪强度判定为异常值；利用该异常值前后相邻的综合情绪强度的均值对该异常值进行替换，输出调整情绪序列；

17、识别调整情绪序列的首个综合情绪强度和末端综合情绪强度并计算差值得到首尾强度差；将该首尾强度差与趋势波动阈值区间进行比较，输出趋势判定结果；

18、利用趋势判定结果和情绪类别标签与预设干预触发映射表进行匹配，确定对应的干预触发等级。

19、进一步地，当干预触发等级满足预设触发条件时，基于情绪演化趋势匹配目标认知干预模式并确定当前认知行为干预阶段的方式包括：

20、当干预触发等级不低于预设触发阈值时，提取对应趋势判定结果的首尾强度差；若干预触发等级高于高风险等级，且首尾强度差大于趋势波动阈值区间上限，则将目标认知干预模式设定为紧急介入模式；若干预触发等级不高于高风险等级，且首尾强度差处于趋势波动阈值区间内的平稳区间，则将目标认知干预模式设定为稳定干预模式；

21、获取与目标认知干预模式对应的预设干预阶段集合，包括情绪安抚阶段和认知引导阶段；将当前采样周期的综合情绪强度与预设阶段切换阈值进行比较，若综合情绪强度大于预设阶段切换阈值，或对应首尾强度差大于零，则确认当前认知行为干预阶段为情绪安抚阶段；

22、若综合情绪强度不大于预设阶段切换阈值，且对应首尾强度差不大于零，则确认当前认知行为干预阶段为认知引导阶段。

23、进一步地，确定数字人对用户的物理干预区间的方式包括：

24、识别实时多模态数据中的实时身体朝向偏转角、实时肢体移动速度和实时综合情绪强度；获取用户面部朝向向量和数字人视线向量并计算余弦相似度；

25、计算实时身体朝向偏转角与预设偏转阈值的差值，并结合余弦相似度计算姿态回避程度；基于实时肢体移动速度和实时综合情绪强度计算肢体运动程度；

26、对姿态回避程度和肢体运动程度进行加权求和得到用户抗拒程度；将用户抗拒程度转化为安全距离变化量，并与预设基准安全距离求和输出动态安全边界距离；

27、获取数字人动作执行数据中的实时空间距离，计算该实时空间距离与动态安全边界距离的距离差值；

28、设定正向边界容差和负向边界容差，若距离差值小于负向边界容差则设定远距离区间为物理干预区间，同时控制数字人执行优先后退指令；

29、若距离差值大于正向边界容差，且当前认知行为干预阶段为情绪安抚阶段，则设定近距离区间为物理干预区间，并控制数字人执行慢速靠近指令；

30、若距离差值处于正向边界容差和负向边界容差之间，则维持上一采样周期的物理干预区间或设定中距离区间为物理干预区间。

31、进一步地，基于该物理干预区间生成与当前认知行为干预阶段对应的语音干预数据和数字人交互控制参数的方式包括：

32、基于当前认知行为干预阶段匹配对应的目标语音内容模板，同时获取基础交互语速和基础音量；基于物理干预区间和距离差值对基础交互语速和基础音量进行比例调整，输出语音干预数据；

33、基于物理干预区间匹配数字人的目标速度区间和动作幅度区间，结合当前认知行为干预阶段确定是否执行触碰交互，生成触碰交互标签；

34、整合目标速度区间、动作幅度区间和触碰交互标签构成数字人交互控制参数。

35、进一步地，对干预前后的用户情感数据进行时间响应校正的方式包括：

36、当下发包含语音干预数据和数字人交互控制参数的干预指令时，记录干预指令下发时间戳；

37、实时监测数字人动作执行数据中的加速度或关节角度变化率，若加速度或关节角度变化率大于预设对应动作响应阈值时，记录交互起效时间戳；计算该交互起效时间戳与用户认知缓冲时长的和，得到理论反馈时间戳；

38、将处于干预指令下发时间戳与理论反馈时间戳之间的用户情感数据作为过渡情感数据并剔除；将理论反馈时间戳作为起点，按照预设评估时长划分有效干预响应区间，将该有效干预响应区间内的用户情感数据作为目标情感反馈数据。

39、进一步地，用户认知缓冲时长的计算方式包括：

40、获取执行干预交互前一采样周期的历史综合情绪强度，并获取当前认知行为干预阶段对应的阶段时延比例；计算该历史综合情绪强度与预设平稳强度的比值得到情绪缓冲比例；计算预设基础认知响应时长与阶段时延比例以及情绪缓冲比例的乘积得到用户认知缓冲时长。

41、进一步地，基于目标情感反馈数据确定干预后的用户情感状态变化，并执行干预效果评估；在执行干预效果评估中识别由当前认知行为干预阶段引发的异常情绪波动，以确定真实干预响应状态的方式包括：

42、将目标情感反馈数据对应的时间段划分为前序响应时段和后序响应时段；分别提取前序响应时段和后序响应时段的综合情绪强度峰值，作为前序强度峰值和后序强度峰值，同时获取后序响应时段的末端情绪强度；

43、若前序强度峰值大于执行干预交互前一采样周期的综合情绪强度，且后序强度峰值和末端情绪强度均小于前序强度峰值，则确定当前真实干预响应状态属于干预过渡状态；

44、若前序强度峰值和后序强度峰值均大于执行干预交互前一采样周期的综合情绪强度，且末端情绪强度不小于后序强度峰值，则确定当前真实干预响应状态属于干预失效状态；

45、若前序强度峰值和后序强度峰值均不大于执行干预交互前一采样周期的综合情绪强度，则确定当前真实干预响应状态属于干预稳定状态。

46、进一步地，更新认知行为干预阶段，以及语音干预数据和数字人交互控制参数的方式包括：

47、若真实干预响应状态属于干预过渡状态，则维持当前认知行为干预阶段不变，并延长对应执行周期；

48、若真实干预响应状态属于干预失效状态，则将当前认知行为干预阶段转化为情绪安抚阶段，并重新生成对应的语音干预数据和数字人交互控制参数；

49、若真实干预响应状态属于干预稳定状态，则将当前认知行为干预阶段推进至认知引导阶段，同时同步更新语音干预数据和数字人交互控制参数。

50、本技术基于多模态语义理解的老年人交互数字人管理系统的技术效果和优点：

51、通过采集老年用户与数字人交互过程中的初始多模态数据并进行处理得到老年用户情感与数字人执行相关数据，最终实现了基于多模态语义理解的老年人交互数字人管理系统；与现有经验相比，通过结合语音、表情和姿态信息，避免了由于单一模态数据导致在复杂场景下的情绪识别失真；通过对连续采样周期的情绪变化趋势判断，消除了情绪瞬间波动导致的信号抖动；通过分析用户抗拒程度和确定物理干预区间，避免了由于数字人靠近过度或反复进退对老年用户造成的进一步干预刺激；通过执行时间响应校正，修正了干预动作与真实情感反馈之间的时间归因错位；通过识别干预效果中的异常情绪波动，确定了真实干预响应状态，避免了干预策略的错误切换；提升了数字人执行干预的控制精度，保障了人机交互的稳定性与安全性。