一种基于多模态记忆网络的机器人经验学习系统的制作方法

本发明涉及机器人智能控制，尤其涉及一种基于多模态记忆网络的机器人经验学习系统。

背景技术：

1、随着服务机器人、巡检机器人、仓储机器人和协作机器人的应用范围不断扩大，机器人需要在复杂环境中依据视觉图像、深度点云、力觉反馈、关节状态、底盘位姿和动作控制数据完成目标识别、路径接近、抓取操作、避障调整和任务反馈处理。现有机器人经验学习方法通常通过记录历史任务数据、提取多模态特征、训练时序模型或建立经验库的方式，使机器人在后续任务中调用相似经验，以提高任务执行效率。

2、现有技术中，多模态经验通常按照固定时间窗口、完整任务轨迹或统一特征向量进行存储，视觉、深度、力觉和位姿等数据多采用拼接融合或统一编码处理。当机器人执行任务过程中出现视觉定位偏移、深度点云缺失、力觉反馈延迟或动作反馈异常时，现有方法难以判断某一历史经验是否真实有效，也难以识别该经验中哪些状态、动作和反馈之间具有稳定的可推导关系，容易将存在模态冲突或反馈不完整的经验写入长期记忆。

3、因此，现有机器人经验学习方法仍存在经验可信性判定不足、冗余经验持续累积、历史经验复用依赖相似度匹配、错误经验干扰新任务决策的问题。在新任务场景与历史场景仅部分相似时，机器人容易直接套用历史动作，导致抓取失败、路径阻塞、接触力异常或动作调整不准确，难以实现多模态经验的可解释存储、压缩保留和可靠迁移。

4、因此，如何提供一种基于多模态记忆网络的机器人经验学习系统是本领域技术人员亟需解决的问题。

技术实现思路

1、本发明的一个目的在于提出一种基于多模态记忆网络的机器人经验学习系统，本发明充分利用改进标量长短期记忆网络slstm-t、多模态闭锁经验结构构建、经验生成关系图以及经验结构重构技术，对机器人执行任务过程中的视觉、深度、力觉、位姿和动作状态进行联合记忆建模、闭锁验证、冗余经验压缩和动作策略生成，实现机器人经验的可解释存储与可靠迁移，具备多模态经验可信性高、错误经验干扰低、经验复用准确性高和复杂场景适应能力强的优点。

2、根据本发明实施例的一种基于多模态记忆网络的机器人经验学习系统，包括：

3、多模态预处理模块，采集机器人执行任务过程中的多模态原始数据，对多模态原始数据进行预处理，生成多模态状态序列；

4、相界突变检测模块，对多模态状态序列构建稀疏联合突变图，分别提取视觉突变事件、深度突变事件与力觉突变事件的时间标记，计算三模态联合突变度并采用双阈值临界窗口检测联合突变度跃迁点，生成对应的相界状态片段；

5、记忆更新模块，将相界状态片段输入引入模态信任门、自适应遗忘系数及跨片段残差通道的改进slstm-t网络，对视觉状态、深度状态、力觉状态、位姿状态和动作状态分别执行标量级增益、衰减与屏蔽更新，输出记忆状态向量；

6、闭锁经验固化模块，对记忆状态向量构建多模态自同胚映射对，利用稀疏同调核计算正向闭锁误差与反向赎回误差，引入模态剪枝门删除冗余维度，当两类误差均落入动态阈区且剪枝后同调核秩保持不变时，将对应相界状态片段固化为闭锁经验结构；

7、生成子压缩模块，读取各闭锁经验结构之间的状态接续关系、动作接续关系和反馈生成关系，构建经验生成关系图，对各闭锁经验结构执行冗余剥离处理，生成最小经验生成子集合；

8、动作重构控制模块，当机器人执行新任务时，采集当前任务对应的多模态状态数据，从最小经验生成子集合中匹配对应的闭锁经验结构并执行结构重构，生成动作策略，依据动作策略控制机器人执行当前任务。

9、可选的，所述多模态原始数据包括视觉图像数据、深度点云数据、力觉反馈数据、关节状态数据、底盘位姿数据、夹爪状态数据、动作控制数据和任务结果数据。

10、可选的，所述对多模态原始数据进行预处理，生成多模态状态序列，包括：

11、按照统一时间戳对视觉图像数据、深度点云数据、力觉反馈数据、关节状态数据、底盘位姿数据、夹爪状态数据和动作控制数据执行时间对齐处理；

12、对视觉图像数据执行目标区域裁剪、亮度归一化和边缘增强处理，生成视觉状态序列；

13、对深度点云数据执行离群点剔除、空间配准和距离映射处理，生成深度状态序列；

14、对力觉反馈数据执行噪声滤波、接触峰值检测和力矩波动分段处理，生成力觉状态序列；

15、对关节状态数据、底盘位姿数据和夹爪状态数据执行轨迹平滑和状态同步处理，生成位姿动作状态序列，按照时间顺序对视觉状态序列、深度状态序列、力觉状态序列和位姿动作状态序列进行拼接编码，生成多模态状态序列。

16、可选的，所述生成对应的相界状态片段，包括：

17、按照采样时间顺序读取多模态状态序列中的视觉状态、深度状态和力觉状态，分别比较当前采样时刻与前一采样时刻的视觉变化幅度、深度变化幅度和力觉变化幅度，生成对应采样时刻的视觉变化记录、深度变化记录和力觉变化记录；

18、将视觉变化记录、深度变化记录和力觉变化记录分别与对应的预设突变判定条件进行比较，当视觉变化幅度达到视觉突变判定条件时生成视觉突变标记，当深度变化幅度达到深度突变判定条件时生成深度突变标记，当力觉变化幅度达到力觉突变判定条件时生成力觉突变标记；

19、以各采样时刻作为图节点，按照采样时间先后顺序在相邻图节点之间建立时间接续边，在同一采样时刻同时出现视觉突变标记、深度突变标记或力觉突变标记中的两个突变标记时，在对应图节点上建立跨模态突变共现关系，生成稀疏联合突变图；

20、依据各图节点对应的视觉变化幅度、深度变化幅度、力觉变化幅度以及跨模态突变共现关系的数量，生成对应图节点的三模态联合突变度，将三模态联合突变度按照采样时间顺序写入稀疏联合突变图；

21、采用高触发条件和低接续条件构成双阈值临界窗口，对各图节点的三模态联合突变度进行连续检测，将满足高触发条件且同时具有两个突变标记的图节点确定为联合突变度跃迁点，将满足低接续条件且与联合突变度跃迁点时间连续的图节点并入对应临界窗口，依据联合突变度跃迁点处的目标识别状态、接近距离状态、接触力状态、动作执行状态和任务反馈状态分别标记目标确认相界、接近启动相界、接触建立相界、动作执行相界和反馈结果相界，将相邻任务相界之间的多模态状态数据确定为相界状态片段。

22、可选的，所述输出记忆状态向量，包括：

23、按照视觉状态、深度状态、力觉状态、位姿状态和动作状态的字段顺序，为改进标量长短期记忆网络slstm-t构建五个模态输入支路，在各模态输入支路中设置对应的状态读取单元、状态变化记录单元和标量记忆单元；

24、在各模态输入支路与标量记忆单元之间设置模态信任门，模态信任门读取当前相界状态片段中的对应模态状态、上一相界隐藏状态以及同一相界内其他模态的接续状态，生成视觉信任标记、深度信任标记、力觉信任标记、位姿信任标记和动作信任标记；

25、在模态信任门之后设置自适应遗忘单元，自适应遗忘单元依据各模态信任标记、相邻相界状态片段之间的状态变化幅度和稀疏联合突变图中的突变共现关系，分别确定对应模态记忆的保留状态、衰减状态和屏蔽状态；

26、在相邻相界状态片段之间设置跨片段残差通道，跨片段残差通道读取上一相界记忆状态与当前相界输入状态之间未被对应模态解释的差异部分，将差异部分按照模态字段写入视觉残差、深度残差、力觉残差、位姿残差和动作残差；

27、在标量记忆单元中依据模态信任门的输出结果、自适应遗忘单元的输出结果和跨片段残差通道的输出结果，对视觉状态、深度状态、力觉状态、位姿状态和动作状态分别执行标量级增益更新、标量级衰减更新和标量级屏蔽更新，生成各模态对应的标量记忆状态；

28、将各模态对应的标量记忆状态按照视觉状态、深度状态、力觉状态、位姿状态和动作状态的字段顺序进行组合，生成当前相界记忆状态，依据当前相界记忆状态更新当前隐藏状态，将当前相界记忆状态和当前隐藏状态共同确定为对应任务相界的记忆状态向量。

29、可选的，所述引入模态剪枝门删除冗余维度，当两类误差均落入动态阈区且剪枝后同调核秩保持不变时，将对应相界状态片段固化为闭锁经验结构，包括：

30、读取第k个任务相界对应的记忆状态向量，按照状态字段、动作字段和反馈字段将记忆状态向量拆分为状态记忆块、动作记忆块和反馈记忆块，依据视觉状态、深度状态、力觉状态、位姿状态和动作状态的字段顺序构建多模态闭锁坐标集；

31、基于多模态闭锁坐标集构建正向自同胚映射和反向自同胚映射，正向自同胚映射将状态记忆块和动作记忆块映射至反馈记忆块，反向自同胚映射将反馈记忆块和动作记忆块映射至状态记忆块中的关键状态子块，将正向自同胚映射和反向自同胚映射组合为多模态自同胚映射对；

32、依据多模态闭锁坐标集中各坐标点之间的时间接续关系、模态关联关系和动作反馈关联关系建立稀疏同调核，并分别读取正向自同胚映射输出结果与反馈记忆块之间的差异、反向自同胚映射输出结果与关键状态子块之间的差异，生成正向闭锁误差和反向赎回误差；

33、将视觉状态、深度状态、力觉状态、位姿状态和动作状态分别输入模态剪枝门，依据各模态维度对正向闭锁误差、反向赎回误差和稀疏同调核秩的影响结果删除冗余维度，保留使稀疏同调核秩不发生变化的状态维度、动作维度和反馈维度，生成剪枝后闭锁坐标集；

34、依据剪枝后闭锁坐标集重新计算正向闭锁误差、反向赎回误差和稀疏同调核秩，当正向闭锁误差落入正向动态阈区、反向赎回误差落入反向动态阈区且剪枝前后的稀疏同调核秩一致时，将对应相界状态片段的状态记忆块、动作记忆块、反馈记忆块、多模态自同胚映射对和剪枝后闭锁坐标集组合为闭锁经验结构。

35、可选的，所述生成最小经验生成子集合，包括：

36、读取各闭锁经验结构中的状态记忆块、动作记忆块、反馈记忆块、多模态自同胚映射对和剪枝后闭锁坐标集，按照任务编号、任务相界类型、动作原语类型和任务结果类型为每一闭锁经验结构生成经验结构索引；

37、依据相邻闭锁经验结构之间的状态记忆块接续关系建立状态接续边，依据相邻闭锁经验结构之间的动作记忆块承接关系建立动作接续边，依据前一闭锁经验结构的反馈记忆块能够作为后一闭锁经验结构的状态输入条件建立反馈生成边，将闭锁经验结构作为图节点，将状态接续边、动作接续边和反馈生成边作为图边，生成经验生成关系图；

38、在经验生成关系图中读取每一闭锁经验结构的入边来源、出边去向和反馈生成路径，按照状态覆盖一致、动作承接一致和反馈结果一致的顺序，对由多个闭锁经验结构组合形成的生成路径进行登记，生成对应闭锁经验结构的组合生成记录；

39、逐个选取闭锁经验结构作为待剥离经验结构，临时删除待剥离经验结构及关联图边，依据组合生成记录检查剩余闭锁经验结构能否重新覆盖待剥离经验结构对应的状态记忆块、动作记忆块和反馈记忆块，当剩余闭锁经验结构能够完整覆盖状态记忆块、动作记忆块和反馈记忆块时，将待剥离经验结构标记为冗余经验结构；

40、删除全部冗余经验结构，并保留不能由剩余闭锁经验结构组合生成的闭锁经验结构，将保留的闭锁经验结构及其对应的状态接续边、动作接续边和反馈生成边组合为最小经验生成子集合。

41、可选的，所述生成动作策略，依据动作策略控制机器人执行当前任务，包括：

42、采集当前任务中的视觉状态、深度状态、力觉状态、位姿状态、夹爪状态和任务目标状态，按照多模态状态序列字段顺序生成当前任务状态片段，依据当前任务状态片段提取当前状态约束、当前动作需求和目标反馈约束；

43、将当前状态约束、当前动作需求和目标反馈约束转换为当前任务查询结构，读取最小经验生成子集合中各闭锁经验结构的状态记忆块、动作记忆块、反馈记忆块和剪枝后闭锁坐标集，按照任务相界字段一致、状态字段覆盖、目标反馈字段可承接和模态可信字段满足的顺序，筛选得到候选闭锁经验结构；

44、依据候选闭锁经验结构之间的状态接续边、动作接续边和反馈生成边，对候选闭锁经验结构执行拼接排序，删除与当前任务状态片段存在模态冲突、动作不可达或反馈不一致的候选闭锁经验结构，生成当前任务重构结构；

45、读取当前任务重构结构中的动作记忆块、多模态自同胚映射对和反馈生成边，将当前状态约束映射至待生成动作字段，生成动作策略，动作策略包括接近方向、末端姿态、动作速度、夹持力度、夹爪开合量、避障距离和异常回退动作；

46、将动作策略下发至机器人运动控制器、机械臂控制器和夹爪控制器，控制机器人执行当前任务，并将当前任务执行后的实际反馈状态、动作执行状态和任务结果状态写入新的多模态状态序列。

47、本发明的有益效果是：

48、本发明通过对机器人执行任务过程中的视觉、深度、力觉、位姿和动作等多模态原始数据进行统一预处理，并进一步构建稀疏联合突变图识别任务相界，使机器人经验不再按照固定时间窗口或完整任务轨迹进行粗略存储，而是围绕目标确认、接触建立、动作执行和反馈变化等关键任务阶段形成相界状态片段，减少无效历史数据对经验学习过程的干扰，提高多模态经验片段的任务相关性和后续记忆建模的准确性。

49、本发明通过引入模态信任门、自适应遗忘系数及跨片段残差通道的改进slstm-t网络，对视觉状态、深度状态、力觉状态、位姿状态和动作状态进行标量级增益、衰减与屏蔽更新，并结合多模态自同胚映射对、稀疏同调核和模态剪枝门对记忆状态向量进行双向闭锁验证，使存在模态冲突、延迟反馈或冗余维度的经验无法直接进入稳定记忆，提高历史经验的可信性、可解释性和可追溯性，降低错误经验对机器人后续任务决策的影响。

50、本发明通过读取闭锁经验结构之间的状态接续关系、动作接续关系和反馈生成关系构建经验生成关系图，并对闭锁经验结构执行冗余剥离处理，形成最小经验生成子集合，使机器人能够保留具有代表性的核心经验结构；在执行新任务时，系统从最小经验生成子集合中匹配对应闭锁经验结构并执行结构重构，生成适用于当前任务的动作策略，避免直接套用历史轨迹，提升机器人在复杂场景中的经验复用准确性、动作调整稳定性和自主适应能力。