一种固定容量约束的视觉长期记忆系统及方法

摘要: 本申请涉及人工智能,尤其涉及机器人视觉技术,具体而言,涉及一种固定容量约束的视觉长期记忆系统及方法。背景技术:1、随着机器人技术的发展,人形机器人被期望在日益复...
一种固定容量约束的视觉长期记忆系统及方法

本申请涉及人工智能,尤其涉及机器人视觉技术,具体而言,涉及一种固定容量约束的视觉长期记忆系统及方法。

背景技术:

1、随着机器人技术的发展,人形机器人被期望在日益复杂的动态环境中执行任务。为此,机器人需要具备类似人类的长期记忆能力,能够理解和回忆其视觉所及的环境、物体和事件。现有的一些终身学习系统尝试解决机器人长期运行中的知识积累问题,例如采用分层或多粒度的模型来表征输入信息,并设计了动态的记忆更新策略。这类方法在一定程度上实现了知识的持续学习和对灾难性遗忘问题的缓解。

2、然而,现有技术主要关注于学习算法本身,却往往忽略了机器人作为物理实体,其板载计算和存储资源通常是严格受限的。现有方法存在以下缺陷:首先,它们通常假设存储空间可以动态扩展,在长期运行中,不断积累的视觉信息,尤其是高分辨率的细节信息,会导致存储量线性甚至指数级增长,最终耗尽有限的板载资源,导致系统崩溃。其次,在任务执行阶段,为了追求精度,现有方法可能会无差别地调用所有相关的、高精度的记忆信息,这带来了巨大的实时计算开销,不适用于资源受限的机器人平台。因此,如何在固定的、有限的存储容量下,设计一种既能保证长期记忆的有效性,又能控制实时推理开销的视觉记忆系统,是当前领域亟待解决的技术问题。

技术实现思路

1、本申请的目的在于提供一种固定容量约束的视觉长期记忆系统及方法,旨在解决现有技术中机器人视觉记忆系统存在存储与计算开销随时间线性增长、信息冗余严重、无法在固定存储容量下长期稳定运行的技术问题。

2、为实现上述目的,本申请提供一种固定容量约束的视觉长期记忆系统,包括:感知与表征模块,用于将图像帧处理为表征全局语义的低分辨率视觉表征和表征局部细节的高分辨率视觉表征;分层记忆存储模块,具有预设的固定存储总容量,用于优先对所述低分辨率视觉表征进行长期存储,而将所述高分辨率视觉表征进行临时存储;动态推理与决策模块,用于在接收到任务指令后,首先仅利用长期存储的所述低分辨率视觉表征进行初步推理,并且当所述初步推理的结果不满足预设的决策条件时,动态地检索并激活与任务相关的高分辨率视觉表征,并将其与用于所述初步推理的所述低分辨率视觉表征进行融合以生成最终决策;以及记忆更新与压缩模块,用于通过淘汰和合并机制,维持所述分层记忆存储模块的总存储量不超过所述预设的固定存储总容量。

3、可选地,所述动态推理与决策模块还用于在任务执行完毕后,主动释放为本次任务激活的所述高分辨率视觉表征。

4、可选地,所述分层记忆存储模块具体包括一个向量数据库,用于将所述低分辨率视觉表征存储为特征向量,以支持语义相似度检索。

5、可选地,所述记忆更新与压缩模块的合并机制具体通过对所述向量数据库中的特征向量进行聚类,并用质心向量替代聚类中的多个特征向量来实现。

6、可选地,所述感知与表征模块包括一个单一的可配置编码器,该编码器通过调整输入图像的图块大小来生成所述低分辨率视觉表征和所述高分辨率视觉表征。

7、可选地,在所述动态推理与决策模块中,通过一个决策判断单元来判断所述初步推理的结果是否满足所述预设的决策条件,该决策判断单元为一个通过强化学习训练得到的智能体,并根据任务状态在决策收益与资源成本之间进行权衡。

8、为实现上述目的,本申请还提供一种固定容量约束的视觉长期记忆方法,包括以下步骤:将图像帧处理为表征全局语义的低分辨率视觉表征和表征局部细节的高分辨率视觉表征;在具有预设固定存储总容量的存储空间中,优先对所述低分辨率视觉表征进行长期存储,并对所述高分辨率视觉表征进行临时存储;在接收到任务指令后,首先仅利用长期存储的所述低分辨率视觉表征进行初步推理;当所述初步推理的结果不满足预设的决策条件时,动态地检索并激活与用于初步推理的所述低分辨率视觉表征相对应的所述高分辨率视觉表征,并与用于所述初步推理的所述低分辨率视觉表征进行融合以生成最终决策;通过淘汰和合并机制,维持所述存储空间的总存储量不超过所述预设的固定存储总容量。

9、可选地,该方法还包括:在任务执行完毕后,主动释放为本次任务激活的所述高分辨率视觉表征。

10、可选地,所述长期存储步骤具体包括:将所述低分辨率视觉表征存储为特征向量并存入向量数据库。

11、可选地,所述预设的决策条件是基于一个通过强化学习训练得到的智能体的输出来确定的,该智能体在决策收益与资源成本之间进行权衡。

12、与现有技术相比,本申请具有如下有益效果:通过多粒度视觉表征、分层记忆存储和动态推理决策的协同工作,本申请能够在预设的固定存储总容量下长期稳定运行。其一,通过“低分辨率优先、高分辨率按需、用后释放”的机制,有效抑制了记忆信息的无限增长,显著降低了数据冗余和实时计算开销,保证了系统在资源受限平台上的可靠性。其二,本申请兼顾了低成本的全局长期记忆与按需获取的高精度局部细节,使得机器人在面对复杂动态环境时,既能基于全局语义快速响应,又能在必要时进行精细化操作,提升了环境理解、适应性与决策的准确性。其三,通过动态的淘汰和合并机制,能够持续淘汰低价值信息、合并冗余信息,保持记忆库的高效与精简,使记忆系统具备自我进化和动态优化的能力。

1.一种固定容量约束的视觉长期记忆系统,其特征在于,包括:

2.根据权利要求1所述的系统,其特征在于,所述动态推理与决策模块还用于在任务执行完毕后,主动释放为本次任务激活的所述高分辨率视觉表征。

3.根据权利要求1所述的系统,其特征在于,所述分层记忆存储模块具体包括一个向量数据库,用于将所述低分辨率视觉表征存储为特征向量,以支持语义相似度检索。

4.根据权利要求3所述的系统,其特征在于,所述记忆更新与压缩模块的合并机制具体通过对所述向量数据库中的特征向量进行聚类,并用质心向量替代聚类中的多个特征向量来实现。

5.根据权利要求1所述的系统,其特征在于,所述感知与表征模块包括一个单一的可配置编码器,该编码器通过调整输入图像的图块大小来生成所述低分辨率视觉表征和所述高分辨率视觉表征。

6.根据权利要求1所述的系统,其特征在于,在所述动态推理与决策模块中,通过一个决策判断单元来判断所述初步推理的结果是否满足所述预设的决策条件,该决策判断单元内嵌有预先通过强化学习训练的策略网络模型,所述策略网络模型配置为以当前任务指令、初步推理结果及其不确定性度量作为输入状态,输出是否激活高分辨率视觉表征的动作概率分布。

7.一种固定容量约束的视觉长期记忆方法,其特征在于,包括以下步骤:

8.根据权利要求7所述的方法,其特征在于,还包括:

9.根据权利要求7所述的方法,其特征在于,所述长期存储具体包括:将所述低分辨率视觉表征存储为特征向量并存入向量数据库。

10.根据权利要求7或8所述的方法,其特征在于,所述预设的决策条件是由预先通过强化学习训练的策略网络模型的输出决定的,所述策略网络模型基于当前任务状态输出是否激活高分辨率视觉表征的动作概率分布。