一种场景化交互式ai情感陪伴机器人系统的制作方法

本发明涉及机器人，具体是涉及一种场景化交互式ai情感陪伴机器人系统。

背景技术：

1、目前，随着社会老龄化程度加深、独居群体规模扩大以及儿童成长陪伴需求的多元化发展，情感陪伴类智能设备已成为人机交互领域的研究热点。现有情感陪伴机器人、智能陪护终端等产品，初步实现了语音对话、故事播放、定时提醒等基础功能，在一定程度上缓解了特定人群的情感陪伴需求缺口。但随着用户对陪伴沉浸感、个性化与情感共鸣的要求不断提升，现有技术方案逐渐暴露出多方面的技术短板，具体如下：

2、其一，情绪感知维度单一，多模态融合识别精度不足。现有情感陪伴系统多以语音语义或单一面部表情作为情绪判断依据，未能有效整合触觉交互、肢体动作等多维度感知信号，难以捕捉用户的隐性情绪与微表情变化。尤其在用户情绪表达较为内敛、面部特征不明显的场景下，单一模态的情绪识别结果存在较大偏差，无法准确映射用户真实的愉悦度、唤醒度与情绪支配状态，进而导致后续交互策略与用户实际情绪需求错配。

3、其二，交互内容固化被动，个性化动态生成能力欠缺。现有陪伴设备的交互内容多为预制脚本与固定问答库，采用“用户触发-系统响应”的被动交互模式，无法根据用户实时情绪状态、历史兴趣偏好动态生成定制化的场景化内容，难以实现主动式情感关怀。同时，现有方案中内容生成与交互逻辑相互独立，未形成与实体动作、视觉呈现相联动的交互逻辑树，交互连贯性与沉浸感不足，用户长期使用后易产生倦怠感，产品留存率较低。

4、其三，虚实交互融合度低，投影呈现与物理反馈协同性差。现有陪伴产品多以纯实体机器人或纯虚拟数字人为单一交互载体：实体机器人交互形式受限，难以构建丰富的虚拟场景；纯虚拟方案缺乏物理触感与实体反馈，真实感不足。部分结合投影技术的方案，未解决环境光照自适应、物理障碍物真实遮挡等问题，投影画面易受环境光干扰，且虚拟内容与真实空间物体的遮挡关系不符合视觉逻辑，虚实割裂感明显；同时实体机器人的动作执行与虚拟场景内容缺乏同步联动机制，进一步降低了交互的沉浸体验。

5、其四，行为习惯养成场景化不足，主动干预机制缺失。现有陪伴系统中的习惯引导、行为教育功能多采用直白提醒、说教式告知的方式，未将日常行为教育转化为趣味化、场景化的互动任务，用户接受度与参与度较低。此外，现有方案缺乏对交互过程中用户注意力状态、情绪偏移的实时监测与主动干预机制，当用户出现注意力分散、情绪负向波动或交互中断时，系统无法主动调整交互策略以唤回用户注意力，交互持续性与陪伴效果不佳。

6、其五，远程陪伴功能形式单一，情感传递深度不足。现有远程陪护多依赖视频通话、语音留言等基础通信方式，仅实现信息的直接传递，无法将远程用户的音色、内容与本地陪伴场景深度融合，也难以向远程端同步被陪伴者的实时情绪状态与互动过程，远程陪伴的情感承载能力较弱，难以构建沉浸式的远程陪伴体验。

技术实现思路

1、为解决上述技术问题，提供一种场景化交互式ai情感陪伴机器人系统，本技术方案解决了上述背景技术中提出的问题。

2、为达到以上目的，本发明采用的技术方案为：

3、一种场景化交互式ai情感陪伴机器人系统，包括：

4、采集模块，所述采集模块用于采集目标对象在物理交互过程中的多模态感知数据，多模态感知数据包括通过拟人化实体机器人采集的触觉交互信号、语音采集模块获取的声学特征数据以及视觉采集模块获取的面部微表情图像和肢体骨骼关键点数据；

5、提取融合模块，所述提取融合模块用于对多模态感知数据进行实时特征提取与融合，生成目标对象的实时情绪特征向量，并将实时情绪特征向量映射至预设的情绪状态空间中，确定当前情绪状态标签；

6、构建模块，所述构建模块用于基于当前情绪状态标签及历史交互日志，调用aigc生成引擎动态构建虚拟场景剧本及交互逻辑树；

7、监测模块，所述监测模块用于基于生成的虚拟场景剧本，并结合目标对象的历史行为数据，将日常习惯行为教育养成为趣味任务；

8、投影模块，所述投影模块用于根据交互逻辑树，控制投影设备将虚拟场景内容投射至投影介质上，进行远程陪伴与数据同步，并同步控制实体机器人的驱动单元执行与虚拟场景内容相匹配的物理反馈动作；

9、交互模块，所述交互模块用于在交互过程中，持续监测目标对象的反馈数据，若反馈数据指示交互中断或情绪状态标签发生负向偏移，则触发主动干预策略，调整虚拟场景内容的生成参数或实体机器人的物理反馈动作。

10、优选的，所述对多模态感知数据进行实时特征提取与融合，生成目标对象的实时情绪特征向量，具体包括：

11、对视觉采集模块获取的面部微表情图像进行关键点检测，提取眼轮匝肌、颧大肌及皱眉肌的运动幅度参数，并结合肢体骨骼关键点数据计算肢体动作的加速度与角度变化率，生成第一情绪特征子集；

12、对语音采集模块获取的声学特征数据进行基频提取与梅尔频率倒谱系数分析，分离语音内容与韵律特征，提取语音语调的斜率、音强方差及停顿时长，生成第二情绪特征子集；

13、对触觉交互信号进行时域分析，提取按压压力值、触摸时长及滑动轨迹的曲率参数，生成第三情绪特征子集；

14、将所述第一情绪特征子集、第二情绪特征子集及第三情绪特征子集输入至预训练的多模态融合神经网络模型中，输出归一化的实时情绪特征向量，具体计算公式如下：

15、

16、其中， 为三维情绪特征向量， 代表愉悦度， 代表唤醒度， 代表优势度；、、分别为视觉、听觉、触觉模态的权重矩阵，

b 为偏置向量，为非线性激活函数。

17、优选的，所述基于当前情绪状态标签及历史交互日志，调用aigc生成引擎动态构建虚拟场景剧本，具体包括：

18、历史交互日志中提取目标对象的兴趣关键词集合与高频互动时间段序列，计算兴趣权重系数；

19、根据当前情绪状态标签在情绪状态空间中的坐标，查询预设的情绪-剧本映射表，获取基础剧本框架，所述基础剧本框架包含故事背景、角色设定及核心冲突；

20、将兴趣权重系数作为条件控制参数输入aigc生成引擎，对基础剧本框架中的非核心情节进行重写，生成包含目标对象姓名、近期经历及偏好物品的定制化故事文本；

21、基于自然语言处理技术解析定制化故事文本，提取关键交互节点，构建分支逻辑树，每个分支节点关联特定的实体机器人动作指令集与投影视觉特效参数；

22、所述兴趣权重系数的计算公式为：

23、

24、其中，为第

k 个兴趣关键词的权重系数； 为第

k 个关键词在单位时间内的出现频次；为涉及第 k 个关键词的单次交互平均时长；为该关键词最近一次出现距当前的时间间隔； 为时间衰减因子，用于表征兴趣随时间的消退速率； 为关键词集合的总数。

25、优选的，所述构建虚拟场景剧本包括专属家庭剧场场景，具体包括：

26、接收目标对象在自然语言对话中提及的真实生活事件片段，对所述事件片段进行命名实体识别与时间序列对齐，提取事件主体、发生地点及情感色彩标签；

27、调用aigc生成引擎，将提取的事件主体与情感色彩标签作为生成条件，套用预设的戏剧结构算法生成剧本初稿，所述剧本初稿包含开场、发展、高潮及结局四个幕次；

28、根据目标对象的实时语音反馈，计算语义相似度与情感匹配度，若情感匹配度低于预设阈值，则对当前幕次的台词进行实时改写，增加幽默元素或降低冲突难度，并同步更新后续幕次的走向概率；

29、所述情感匹配度  的计算公式为：

30、

31、其中， 为当前幕次的语句总数； 和 分别为第

j 句台词对应的目标对象实时情绪特征向量中的愉悦度和唤醒度数值； 和  分别为第

j 句台词预设的剧情情绪基准值中的愉悦度和唤醒度数值；当  低于阈值  时，触发剧本改写机制。

32、优选的，所述生成交互逻辑树，具体包括：

33、在实体机器人侧，将目标对象的实时情绪特征向量、交互内容文本记录及视觉感知图像特征进行加密编码，生成交互特征数据包；

34、将交互特征数据包上传至云端服务器，并实时推送至已绑定的关联授权终端；关联授权终端接收交互特征数据包后，进行解码与可视化渲染，在终端显示屏上生成情绪波动曲线图及互动内容摘要；

35、接收关联授权终端输入的远程干预指令，干预指令包括远程录制的音频数据、自定义故事文本或特定的提醒时间戳；

36、将远程录制的音频数据进行声纹特征提取，利用音色克隆算法训练生成指定说话人音色模型，并将自定义故事文本输入aigc生成引擎进行风格适配，生成待播放的多媒体内容。

37、优选的，所述将远程录制的音频数据进行声纹特征提取，利用音色克隆算法训练生成指定说话人音色模型，具体包括：

38、对远程录制的音频数据进行降噪处理与静音切除，分割为包含完整音素的短时帧序列；

39、提取每一短时帧序列的梅尔频谱图，作为声纹特征图谱；

40、将声纹特征图谱输入至预训练的声纹编码器，提取说话人嵌入向量；

41、将说话人嵌入向量与目标文本的音素序列共同输入至声码器模型，合成具有指定说话人音色特征的目标语音波形数据；

42、在实体机器人播放所述目标语音波形数据时，同步控制投影设备显示授权终端上传的关联图像或动态特效；

43、所述说话人嵌入向量  的提取计算遵循以下公式：

44、

45、其中， 为最终生成的说话人嵌入向量； 为输入的短时帧序列总数；为第

m 帧的梅尔频谱图数据； 为声纹编码器的非线性映射函数，用于将频谱特征映射到高维向量空间。

46、优选的，所述将日常习惯行为教育养成为趣味任务，具体包括：

47、获取目标对象的历史行为数据，识别重复出现的低效行为模式，生成待优化习惯列表；

48、从场景化内容生态中调取与待优化习惯列表相关联的教育数据，构建任务场景，例如将“刷牙”行为映射为“清洁魔法宝石”的游戏场景；

49、设定任务触发条件与奖励机制，当监测到目标对象执行特定动作时，计算动作完成度参数；

50、若动作完成度参数达到预设标准，则调用aigc生成引擎生成即时奖励动画，并通过投影设备投射至目标对象的手部或物体表面，同时实体机器人输出特定的触觉振动反馈；

51、所述动作完成度参数 的计算公式为：

52、

53、其中， 为动作完成度评分； 为实际动作持续时长， 为标准动作建议时长； 为视觉采集模块提取的实时骨骼关键点坐标向量， 为标准动作的骨骼关键点坐标向量； 和  为权重系数，且 ； 为空间距离惩罚因子，用于衡量动作姿态的标准程度。

54、优选的，所述控制投影设备将虚拟场景内容投射至投影介质上的步骤，包括：

55、获取投影介质的平面深度图像，识别投影区域的物理障碍物坐标与表面纹理特征；

56、根据虚拟场景内容中的角色位置信息，生成二维投影映射矩阵；

57、利用所述二维投影映射矩阵对虚拟角色的渲染画面进行透视变换与遮挡计算，确保虚拟角色在视觉上位于物理障碍物之后或与真实物体产生正确的遮挡关系；

58、实时采集环境光传感器数据，动态调整投影画面的亮度与对比度参数，使投影内容的色域值与环境光照度保持线性补偿关系；

59、所述投影画面亮度  的动态调整计算公式为：

60、

61、其中， 为调整后的投影亮度输出值； 为投影内容的基础亮度设定值； 为环境光传感器实时采集的环境照度值； 为标准环境照度参考值； 为亮度补偿系数，用于调节投影亮度对环境光变化的敏感程度，当  时，反之。

62、优选的，所述触发主动干预策略，调整虚拟场景内容的生成参数或实体机器人的物理反馈动作，具体包括：

63、建立无聊监测模型，实时计算目标对象在单位时间内的交互频率与注意力分散度；

64、当交互频率低于第一预设阈值且注意力分散度高于第二预设阈值时，判定目标对象进入无聊状态；

65、从aigc生成引擎的候选问题库中随机抽取与当前虚拟场景相关联的开放式提问，并根据目标对象的历史回答记录调整提问难度系数；

66、控制实体机器人转向目标对象所在方位，并执行头部微倾与眼部led光源闪烁的唤醒动作，同时在投影介质的边缘区域生成引导式视觉线索；

67、所述注意力分散度  的计算公式为：

68、

69、其中， 为注意力分散度指数； 为单位时间窗口内的总帧数； 为第  帧检测到的人眼注视点坐标； 为第  帧虚拟交互对象的中心坐标； 为注视偏差阈值； 为指示函数，当条件成立时取值为1，否则为0。

70、优选的，还包括模型自更新，具体为：

71、周期性采集目标对象对不同类型虚拟场景内容的停留时长、互动次数及情绪特征向量的变化轨迹，构建偏好-反馈关联数据集；

72、利用所述偏好-反馈关联数据集对情绪识别模型的分类阈值进行微调，具体为：计算正向情绪与负向情绪的分类边界的梯度下降值，调整分类器的权重参数；

73、将高互动率的虚拟场景剧本结构提取为模板特征，存入场景化内容生态的优选模板库，并在后续生成新剧本时提升该模板特征的采样概率；

74、所述分类器权重参数  的微调更新公式为：

75、

76、其中， 为更新前的权重参数， 为更新后的权重参数； 为学习率，控制更新步长； 为损失函数 关于权重  的梯度，损失函数基于真实情绪标签 与模型预测值  之间的误差计算； 为正则化系数，用于防止模型过拟合； 为权重的l2范数。

77、与现有技术相比，本发明提供了一种场景化交互式ai情感陪伴机器人系统，具备以下有益效果：

78、本发明通过多模态融合神经网络处理视觉、听觉及触觉数据，生成包含愉悦度、唤醒度及优势度的实时情绪特征向量，显著提升了对复杂微表情及隐性情绪的识别精度；基于情绪状态标签与历史日志，利用aigc引擎实时生成定制化剧本与逻辑树，实现了从“被动问答”到“主动关怀”的转变，增强了陪伴的个性化与趣味性；通过环境光动态补偿算法与深度遮挡计算，使投影内容自适应光照变化并与真实物体正确遮挡，配合实体机器人的同步物理反馈，打破了虚拟与现实的界限，从而实现了高质量的远程共情与教育引导。