一种类脑多时间尺度结构化记忆回放方法及设备

本技术属于计算机领域，尤其涉及机器人智能控制，更具体地，涉及一种类脑多时间尺度结构化记忆回放方法及设备。

背景技术：

1、移动机器人自主导航是智能机器人领域的重要研究问题之一，其目标是在存在障碍物的未知场景中，使机器人能够通过传感器观测自主选择动作，安全、高效地到达目标位置。这对导航系统提出了很高的要求，尤其是在面对复杂环境时，需要系统具备与大脑类似的处理能力。真实环境下的导航任务本身就具有明显的多时间尺度特征，机器人在靠近障碍物时需要关注短期安全和即时避障，在远离目标时需要考虑长期路径选择和目标趋近。因此有必要设计一个具有合理的多指标优先采样标准并且能描述不同时间尺度上的价值信息的模型，以实现高效学习。

2、神经科学、脑科学和人工智能的交叉研究表明，人脑在复杂环境中具有灵活且高效的决策能力，海马体在情景记忆、空间认知和环境表征中发挥关键作用，在未知环境中，海马体也参与基于价值的决策过程，通过对过往经验的组织和重放来影响未来行为的选择。更进一步的研究表明人脑在解决复杂决策任务时往往依赖不同脑区的协同合作，例如海马体和内嗅皮层共同构成的空间认知系统，为环境结构和位置信息提供重要的表征基础。此外，多种神经递质也会影响并协调不同脑区在学习、记忆与决策过程中的功能分工。例如，新颖刺激诱发的多巴胺释放可以促进海马体相关记忆巩固与持久化,乙酰胆碱被认为参与调节注意与记忆之间的相互作用，其在海马体和新皮层中的释放状态可能影响信息编码与记忆提取过程。

3、受这些脑机制启发，越来越多研究者尝试通过模拟大脑的结构和功能来设计智能决策算法。并且尤为关注关键脑区的协同交互，如海马体，基底神经节，新皮层等。有人通过结合海马体的快速学习与新皮层慢速泛化机制，提出分层自组织强化学习框架，提高了机器人导航的学习效率、成功率以及环境适应性。还有人提出海马体-前额叶协同的记忆规划回放模型，通过经验记忆、前瞻规划和策略评估，机器人能够模拟未来行为并优化决策，提升了机器人在复杂环境下的学习效率和路径规划能力。尽管这些类脑算法具备一定的优势，但在真正导航场景中，受环境不可控性或样本利用率低的限制，阻碍了其学习能力。

4、在生物学习过程中，记忆重放被认为是提高学习效率和支持灵活决策的重要机制。海马体的记忆回放是指动物在休息或睡眠阶段，海马体中与先前空间经验相关的神经活动序列被压缩后重激活的现象。早期的研究多将回放视为对已有轨迹的复现，但是近来的研究发现，回放并不是简单的重复过去的经历，而是表现出正向序列，逆向序列，捷径序列甚至是未实际经历过的路径序列（虚拟序列）。这说明记忆重放并非均匀、被动的经验再现过程，而更像是一种受到经验统计、奖励信息和环境结构共同调节的主动记忆访问机制。

5、现有强化学习导航方法通常通过经验回放提高样本利用率。优先经验回放根据td（temporal-difference）误差为经验分配采样优先级，优先回放价值预测误差较大的经验。然而，传统的优先经验回放方法只采用单一指标来选择回放的经验，难以刻画经验的轨迹方向性和空间连续性。有人提出sfma模型进一步从计算角度解释了海马体回放的生成机制。该研究表明，结构化回放能够在不显式计算每条经验假设性效用的情况下生成多样化回放序列，并促进空间学习。这一观点为强化学习中的经验回放机制提供了重要启发：经验回放不应仅仅被视为从缓存中随机抽取样本的过程，而可以被设计为一种具有结构性和任务相关性的记忆访问过程。

6、除了选择哪些经验被重放之外，重放的经验该如何去更新价值同样是影响智能体学习效率的关键问题。传统强化学习方法通常使用单一折扣因子对未来奖励进行价值更新，将不同时间范围内的奖励压缩为一个标量价值函数。然而，真实的决策任务往往本身就包含多个时间尺度的信息，短时间尺度用于处理即时反馈和局部风险，长时间尺度用于评估延迟收益和长期目标。单一折扣因子难以同时兼顾二者，可能会导致智能体在短视反应和长期规划之间失衡。

7、近期masset等人的研究为多时间尺度强化学习提供了重要神经科学依据。该研究指出，不同多巴胺神经元可能编码具有不同折扣时间常数的奖励预测误差信号，即多巴胺神经元群体并非只对应单一时间尺度的td误差，而是能够形成多时间尺度的价值预测表示。多折扣因子价值表征能够解耦奖励大小和奖励时机，在学习未完全收敛时仍保留未来奖励的时序信息，并帮助智能体根据任务需求在短期和长期价值估计之间进行灵活调节。这为构建多时间尺度强化学习算法提供了生理学依据，也提示在导航任务中同时维护多个时间尺度的价值函数，可能有助于提高智能体在复杂任务中的学习效率和决策灵活性。

8、由此，本领域亟待提出一种基于类脑多时间尺度结构化记忆回放方法及设备，以提升智能体在复杂任务中的样本利用率和决策灵活性，进而提高机器人导航的学习效率和导航性能。

技术实现思路

1、本发明的目的旨在提出一种类脑多时间尺度结构化记忆回放方法及设备，以提升智能体在复杂任务中的样本利用率和决策灵活性，进而提高机器人导航的学习效率和导航性能。

2、基于上述发明目的之一，本技术提出了一种类脑多时间尺度结构化记忆回放方法，包括如下步骤：

3、s1、在大脑中内嗅皮层和海马体记忆回放机制的基础上，提出一种结构化记忆优先回放模型，所述结构化记忆优先回放模型将经验回放过程划分为经验选择和价值更新两个主要阶段，在经验选择阶段，构建正向回放和反向回放两种结构化回放模式，正向回放用于保持近期经验覆盖，反向回放则用于沿前驱状态反向传播目标奖励或碰撞惩罚，从而提高关键经验的利用效率；在价值更新阶段，引入多折扣因子价值学习机制，为不同时间尺度维护独立的动作价值函数，并对同一条回放经验并行计算多组td误差，使其同时参与短期即时收益和长期目标价值的更新；

4、s2、根据多时间尺度td误差设计动态回放模式选择策略，自适应调节正向回放模式和反向回放模式的回放概率，所述结构化记忆优先回放模型增强反向回放模式以加速关键价值信息的反向传播；当价值估计趋于稳定时，所述结构化记忆优先回放模型采用正向回放模式以维持经验覆盖和训练稳定性。

5、优选地，所述结构化记忆优先回放模型将储存的经验组织为具有时间顺序和状态转移关系的结构化记忆，且所述结构化记忆优先回放模型在交互过程中持续存储机器人经历的包括状态、动作、奖励和下一状态在内的信息，并根据当前学习状态选择合适的回放模式，使智能体能够在有限交互样本下更高效地利用包括成功到达目标、碰撞失败以及近障碍调整在内的关键经验，提升导航成功率和策略适应性。

6、优选地，所述结构化记忆优先回放模型的工作流程包括：

7、1）在初始探索阶段，机器人通过包括激光雷达、里程计在内的传感器获取实时环境信息，并通过机器人持续的探索，所述结构化记忆优先回放模型逐渐积累包含动作状态和环境信息的结构化经验合集，为后续的训练提供基础；

8、2）在训练阶段，所述结构化记忆优先回放模型利用经验池中存储的经验进行结构化回放和多时间尺度价值更新，逐渐形成兼顾局部安全与长期目标趋近的导航策略；

9、3）在实际验证阶段，训练得到的多时间尺度动作价值函数被用于机器人导航决策，机器人根据实时传感器数据构造当前导航状态，并利用学习得到的价值函数选择最优离散动作，完成目标导航任务。

10、优选地，所述结构化记忆优先回放模型由经验价值和环境结构共同驱动，且所述结构化记忆优先回放模型在关注记忆强度的同时，会优先回放处于障碍物邻近区域、目标邻近区域、狭窄通道或转向区域的经验。

11、优选地，所述结构化记忆优先回放模型中，经验重放可以被类比为位置细胞在记忆回放事件中的重新激活，当一个经验被重新激活时，每个存储的经验根据记忆强度，与当前经验的结构关联强度以及状态抑制量被赋予一个优先级评分，评价指标如下：

12、；

13、其中，表示记忆强度，受经验频率和奖励大小来决定，为记忆强度和结构关联强度之间的权衡系数，通过上述评价指标，机器人选择适用于当前环境的经验进行回放。

14、优选地，经验之间的结构关联强度，用于描述当前经验和储存经验之间的结构关联强度，计算公式如下：

15、；

16、其中表示两个经验之间的结构距离，结构距离越小，说明两个经验在状态或目标上更接近，二者之间的结构关联越强；结构距离越大，说明两个经验之间的联系越弱。

17、优选地，由于结构距离并不等同于简单的物理距离，所述结构化记忆优先回放模型中，根据状态之间的可达关系构建结构表征如下：

18、；

19、；

20、其中，为单位矩阵，为折扣因子，为默认行为策略下的状态转移矩阵。

21、优选地，所述结构化记忆优先回放模型中，采用指数衰减形式定义抑制调节项：

22、；

23、其中，为抑制强度调节参数，为抑制因子，用来避免少数高强度经验在短时间内被反复激活，当较大时，较小，说明该经验近期已被回放，其再次被激活的概率应降低，当随时间衰减后，逐渐增大，该经验参与回放选择的机会逐渐增大。

24、优选地，所述结构化记忆优先回放模型中，根据优先级评分，候选经验被归一化为采样概率：

25、

26、其中，是为防止分母为零的极小常数，为所述结构化记忆优先回放模型根据采样概率从经验池中选择回放的经验批次。

27、基于本发明的另一个方面，还提出了一种类脑多时间尺度结构化记忆回放设备，包括：

28、一个或多个处理器；

29、计算机可读介质，用于存储一个或多个计算机可读指令，

30、当所述一个或多个计算机可读指令被所述一个或多个处理器执行，使得所述一个或多个处理器实现上述类脑多时间尺度结构化记忆回放方法。

31、与现有技术相比，本发明具有以下有益效果：

32、1.本发明综合记忆强度、环境结构关联度和抑制反馈计算经验回放优先级，使与当前导航任务相关的关键经验得到优先利用，同时避免少数高优先级经验被连续重复回放，从而提高有限交互样本的利用效率以及经验回放的结构性和任务相关性。

33、2.本发明采用多个折扣因子并行更新不同时间尺度的动作价值，使机器人能够兼顾局部避障安全性、目标趋近性和路径效率；同时，根据累计多时间尺度时间差分误差动态调整正向回放（默认回放）与逆向回放的选择概率，促进关键奖励和惩罚信息的有效传播，从而提高导航策略的学习效率和稳定性，增强机器人在静态及动态障碍物环境中的导航适应能力。