一种多模通信的AI仿生机器人双向情感传递方法与流程

本发明涉及信息，尤其涉及一种多模通信的ai仿生机器人双向情感传递方法。

背景技术：

1、多模通信的ai仿生机器人双向情感传递是实现人机自然交互的核心枢纽。当前的网络异常处理机制通常侧重于保障通信链路的绝对可靠与数据的无损送达。这种机制在处理情感交互时，往往忽略了ai仿生机器人物理表达部件的机械与视觉响应延迟，也未考虑人类用户通过语音、面部表情或肢体动作反馈的情感信号在回传链路中同样会遭遇网络中断与时间压缩问题，导致双向情感通道在数据层面的完整性和物理执行层面的表现能力之间产生严重脱节，这种脱节在网络断开重连后尤为明显。其中网络断开时，大量由人类端采集的情感输入，如语音语调变化、微表情视频帧以及机器人端生成的情感输出，如面部动作指令、呼吸灯控制序列被分别存入双向离线缓存；当网络恢复后，这些耗时较长积累的数据会在极短的补发窗口内被密集倾泻，形成极高时间压缩比。然而，ai仿生机器人的接收端存在最小状态驻留时间约束，即每一个面部动作单元或灯效状态都需要最基本的执行时间才能被人类感知为有效情感表达。例如，机器人在断网的三分钟内依次产生了微小喜悦到逐渐激动再到开怀大笑的连续情感输出，同时人类用户在此期间通过摄像头和麦克风持续发送了从疑惑到安心的情绪反馈。当网络恢复时，双向数据在几秒内密集补发，机器人还未来得及完成嘴角上扬的微表情，就被后续大笑指令覆盖；而人类用户的安心语音也因压缩过快被截断，无法触发机器人应有的共情回应。这种双向密集跃迁导致情感交互断裂，使原本应具连贯性与互应性的双向情感传递退化为机械抖动与无效闪烁。因此，在面对网络波动带来的高时间压缩比补发时，需同步处理机器人输出端与人类输入端的冗余情感数据，在保障双向离线缓存补发完整性的同时，兼顾ai仿生机器人物理执行器的最小状态驻留时间与人类情感感知的时序连续性，避免动作与灯效的闪烁抖动，成为多模通信的ai仿生机器人双向情感传递系统的关键问题。

技术实现思路

1、本发明提供了一种多模通信的ai仿生机器人双向情感传递方法，主要包括：

2、获取双向缓存队列，提取双向缓存队列中各条情感数据的原始发送时间戳，记录补发时刻相邻情感数据包的实际到达间隔，形成双向到达间隔组；依据原始发送时间戳与双向到达间隔组，分别计算人类输入侧与机器人输出侧的离线缓存时长和补发窗口的时间压缩比，评估补发节奏对情感数据连贯呈现的挤压表现，根据所述挤压表现分析ai仿生机器人当前情感状态的驻留时长；结合所述ai仿生机器人当前情感状态的驻留时长与人类用户情感反馈的感知窗口，分析时间压缩比超过预设上限后的双向密集跃迁风险，生成情感跃迁准入门槛；对所述情感跃迁准入门槛与缓存队列中的情感数据进行分类，识别触发密集情感跃迁的冗余情感数据，保留目标情感数据；从双向缓存队列中剔除所述冗余情感数据后，提取所述目标情感数据随附的时序语义特征，识别离线补发前后的表情承接片段和动作承接片段；依据所述情感跃迁准入门槛与所述时序语义特征，对剔除冗余情感数据后的双向缓存队列中的目标情感数据进行情感跃迁调度，输出平滑重建后的情感状态序列。

3、进一步的，所述提取双向缓存队列中各条情感数据的原始发送时间戳，记录补发时刻相邻情感数据包的实际到达间隔，形成双向到达间隔组，包括：从人类输入侧提取语音基频、面部关键点坐标与手势速度对应的原始发送时间戳，从机器人输出侧提取面部au激活强度、呼吸灯rgb值与躯干姿态角对应的原始发送时间戳，按情感数据类型对时间戳归类标记得到双向时间戳序列；依据所述双向时间戳序列对相邻情感数据包到达时刻逐条作差，针对人类输入侧与机器人输出侧分别汇集所得差值，形成所述双向到达间隔组。

4、进一步的，所述依据原始发送时间戳与双向到达间隔组，分别计算人类输入侧与机器人输出侧的离线缓存时长和补发窗口的时间压缩比，评估补发节奏对情感数据连贯呈现的挤压表现，根据所述挤压表现分析ai仿生机器人当前情感状态的驻留时长，包括：对所述双向到达间隔组中相邻到达间隔值求和汇总，得到双向模态各自的补发窗口跨度；以所述离线缓存时长与补发窗口跨度的比值确定所述时间压缩比，对同一模态间隔均值统计、对相邻条目情感类别切换次数计数得到跃迁频次，由间隔均值与跃迁频次构成所述挤压表现；从机器人输出侧当前执行条目中读取自激活时刻起维持当前数值的时长，得到所述ai仿生机器人当前情感状态的驻留时长。

5、进一步的，所述结合所述ai仿生机器人当前情感状态的驻留时长与人类用户情感反馈的感知窗口，分析时间压缩比超过预设上限后的双向密集跃迁风险，生成情感跃迁准入门槛，包括：所述感知窗口为人类情感识别的视频帧数累积时长与语音时长共同界定的时间区间，分别提取双向六路模态驻留时长下限参考值，依据舵机最短稳定时间与led灯效最小持续周期对下限参考值对齐校验，得到双向驻留基线集合，双向六路模态包括人类侧的语音基频、面部关键点坐标与手势速度以及机器人侧的面部au激活强度、呼吸灯rgb值与躯干姿态角；若所述时间压缩比超过预设上限则把所述双向驻留基线集合输入驻留管控模型，所述驻留管控模型按物理可执行性判定支路与感知可识别性判定支路并行判定，得到双向密集跃迁风险标识；采用所述双向密集跃迁风险标识对所述挤压表现内的间隔均值与跃迁频次逐维比对，未通过的模态通道把对应下限参考值按预设增量上调形成阻断门限，通过的通道保留原值作为通行门限，汇集所述阻断门限与所述通行门限得到所述情感跃迁准入门槛。

6、进一步的，所述对所述情感跃迁准入门槛与缓存队列中的情感数据进行分类，识别触发密集情感跃迁的冗余情感数据，保留目标情感数据，包括：获取所述情感跃迁准入门槛中各模态对应的阻断门限与通行门限，依据每条情感数据条目承载的语音基频、面部关键点坐标、手势速度、面部au激活强度、呼吸灯rgb值、躯干姿态角与预建立的六类情绪映射表匹配，得到带类别标签的缓存条目集合；把相邻条目情绪类别切换且驻留时长低于对应阻断门限的条目标记为所述冗余情感数据；从所述带类别标签的缓存条目集合中检索呼吸灯rgb值拐点对应的灯效承接条目和面部au激活强度峰值对应的动作承接条目，保留作为所述目标情感数据。

7、进一步的，所述方法还包括：对保留的目标情感数据执行情感一致性校验，一致性校验不通过时触发共情重规划，生成符合情感对齐原则的新输出序列，并替换原缓存中的不一致条目。

8、进一步的，所述方法还包括：对所述目标情感数据执行情感一致性校验，从所述带类别标签的缓存条目集合中提取人类输入侧与机器人输出侧各模态对应情绪类别的正负极性方向与强度梯度变化曲线逐条比对，把极性相反或强度梯度落差超过预设跨度的条目标定为跨模冲突条目；以人类输入侧正负极性方向作为对齐基准，依据情感对齐原则中喜悦、悲伤、愤怒、恐惧、惊讶、厌恶分别对应共鸣式、安抚式、平复式、支持式、呼应式、缓和式回应的对应关系，从机器人输出侧候选动作库中选取与情感对齐基准匹配的面部au激活强度、呼吸灯rgb值、躯干姿态角组合得到重规划情感条目；采用所述重规划情感条目对跨模冲突条目执行覆盖式替换，得到符合情感对齐原则的新输出序列。

9、进一步的，所述从双向缓存队列中剔除所述冗余情感数据后，提取所述目标情感数据随附的时序语义特征，识别离线补发前后的表情承接片段和动作承接片段，包括：对所述冗余情感数据条数统计量与预设上限比对，冗余情感数据条数统计量超出预设上限的量作为补发负担评估结果；依据所述补发负担评估结果按位置标记逐条剔除，对保留的目标情感数据提取所述时序语义特征，所述时序语义特征包含原始发送时间戳排序位置、情绪类别承接关系及面部au激活强度与呼吸灯rgb值的渐变方向；对离线补发起始时刻前末位条目与恢复时刻后首位条目配对扫描，把面部au激活强度渐变方向相同且情绪类别承接连贯的片段标定为所述表情承接片段，把躯干姿态角偏移方向相同且手势速度承接连贯的片段标定为所述动作承接片段。

10、进一步的，所述依据所述情感跃迁准入门槛与所述时序语义特征，对剔除冗余情感数据后的双向缓存队列中的目标情感数据进行情感跃迁调度，输出平滑重建后的情感状态序列，包括：把所述表情承接片段与所述动作承接片段作为承接锚点排入调度时间轴，所述调度时间轴以补发窗口跨度为长度按各模态最小响应周期划分调度节拍；把情感跃迁准入门槛中阻断门限与通行门限映射至各调度节拍，对承接锚点之间的空白节拍依据所述时序语义特征检索同向渐变且承接连贯的条目逐节拍填充，空白节拍超过预设过渡跨度则插入线性插值过渡情感条目，得到候选跃迁路径；低于所述阻断门限的条目与相邻同向渐变条目合并，高于通行门限的条目保留原驻留时长，按调度时间轴顺序串接得到所述平滑重建后的情感状态序列。

11、进一步的，调度时间轴以补发窗口跨度为长度按各模态最小响应周期划分调度节拍，包括：所述调度时间轴以补发窗口跨度为长度并按机器人输出侧表情、灯效、姿态三路模态与人类输入侧听觉、视觉和动作三路模态的执行装置最小响应周期划分调度节拍。

12、本发明实施例提供的技术方案可以包括以下有益效果：

13、本发明公开了一种多模通信的ai仿生机器人双向情感传递方法，针对离线补发场景下人类语音基频、面部关键点、手势速度与机器人面部au强度、呼吸灯rgb、躯干姿态角等多模情感数据在双向缓存中因到达间隔不均而产生的密集跃迁、情绪挤压与连贯性断裂问题，通过提取原始发送时间戳与补发相邻到达间隔形成双向到达间隔组，计算人类输入侧与机器人输出侧的离线缓存时长与补发窗口时间压缩比，并结合机器人当前情感驻留时长，借助基于舵机最短稳定时间、灯效最小可感周期及人脸语音识别有效帧时长构建的驻留管控模型，评估超限后的双向密集跃迁风险并生成情感跃迁准入门槛，据此对喜悦、悲伤、愤怒、恐惧、惊讶、厌恶等情绪分类，剔除冗余数据、保留承载灯效与动作语义的目标数据，再经情感一致性校验触发共情重规划，最后依据时序语义特征中的表情与动作承接片段完成跃迁调度，输出平滑重建的情感状态序列，从而实现双向情感的连贯呈现、物理可执行与感知可识别的高保真传递。