视觉语言动作模型驱动的档案机器人自主作业方法及系统与流程

本发明属于档案管理机器人，尤其涉及一种视觉语言动作模型驱动的档案机器人自主作业方法及系统。

背景技术：

1、随着人工智能与机器人技术的飞速进步，档案库房机器人得到广泛应用，使得对机器人灵巧操控与动作智能的需求日益迫切。

2、目前现有的档案管理机器人常依赖固定轨迹规划或预先标定的抓取方案，多采用单一视觉引导，缺乏对语音命令的多模态融合处理与跨模态精准对齐机制，无法结合轻拿轻放和具体位置指令等语言指令进行细粒度操控；加上实际库房中的档案介质大小、重量和硬度各异，且包装不规范，传统控制程序难以自适应不同尺寸和形态档案的抓取，易导致抓取不稳、档案材料受损或操作失败；档案装具多为标准化密集柜或回转柜，作业面狭窄、光照不均和视觉遮挡问题常见，尤其对于深处储位的档案，机器人定位和抓取时受到物理空间约束，路径规划与机械臂姿态调整难度高。

技术实现思路

1、本发明为了解决上述问题，提出了一种视觉语言动作模型驱动的档案机器人自主作业方法及系统，本发明克服了传统方案因档案规格、形态多样性导致的夹取不稳和动作失败问题，避免了因机器人误操作导致档案材料破损，显著降低了操作中对档案本体的物理风险，提高了档案抓取可靠性。

2、为了实现上述目的，本发明是通过如下的技术方案来实现：

3、第一方面，本发明提供了一种视觉语言动作模型驱动的档案机器人自主作业方法，包括：

4、根据档案管理机器人相关的视觉数据、语言数据和动作数据，生成带标注的多模态三元组数据；

5、根据多模态三元组数据，在训练的视觉语言动作模型中，根据不同规格的档案特征以及语音指令，生成适配目标的动作轨迹、抓取点位与力度；具体的，利用视觉编码器分别提取抓取相关的视觉特征与导航相关的视觉特征，利用语言编码器将文本和语音指令转化为语言特征向量；根据语言特征向量，利用高层语义推理器生成参考动作序列，利用低层动作推理器直接作用于键值缓存，分别得到各自的动作特征；将动作特征融合到动作预测中，得到动作序列；在动作规划中加入夹爪最大开合角度限制和机械臂运动范围物理约束；

6、根据得到的动作序列进行档案管理机器人控制。

7、进一步的，所述视觉数据包括抓取相关视觉数据和导航相关视觉数据。

8、进一步的，所述视觉数据的抓取相关标注包括档案二维码、档案储位坐标、档案尺寸、档案尺寸规格和档案抓取点；所述导航相关视觉数据的导航相关标注包括档案装具编号、档案装具层位、库房障碍物位置和地面导航路径节点。

9、进一步的，所述视觉编码器采用mobilenetv3网络作为基础骨干，引入残差连接机制，得到浅层特征和深层特征，分别作为抓取视觉分支网络的输入和深层特征作为导航分支网络的输入；所述抓取视觉分支网络和所述导航分支网络均包括卷积层和全连接层。

10、进一步的，所述语言编码器采用bert-base作为骨干网络。

11、进一步的，根据图像特征向量和语言特征向量统一视觉和语言的语义表征空间，存储历史键向量和值向量，将键向量和值向量映射到更低维度的空间。

12、进一步的，根据映射到更低维度空间的键向量k’和值向量v’，与加入噪声的状态序列，进行向量和值向量交叉注意力计算，使用交叉注意力机制注入多模态上下文先验信息，然后将中间表征通过深度可分离卷积进行残差并行处理，更新高层语义推理器输出特征；通过流匹配算法进行训练后得到去噪后的动作序列。

13、进一步的，所述将高层语义推理器和低层动作推理器分别得到的动作特征融合至动作预测中包括：利用投影将含噪声的动作序列编码为动作查询向量；用高层语义推理器生成动作特征zhl和低层动作推理器生成动作特征zll，分别与查询向量进行交叉注意力计算，得到高层语义引导特征和低层动作引导特征；将高层语义引导特征和低层动作引导特征进行特征级联拼接，得到融合后特征。

14、进一步的，采用流匹配的目标优化策略进行框架的具体训练，损失函数为加权联合优化，包括高层语义动作推理器的流匹配均方误差和动作头的流匹配均方误差，通过权重系数平衡两个模块的训练强度，让高层语义推理器与动作头模型协同优化；损失函数为：

15、；

16、物理约束正则化项定义为：

17、；

18、其中，为预设参数，和为预设权重；

d为动作向量维度；、为第

i个动作的硬阈值。

19、第二方面，本发明还提供了一种视觉语言动作模型驱动的档案机器人自主作业系统，包括：

20、数据采集模块，被配置为：根据档案管理机器人相关的视觉数据、语言数据和动作数据，生成带标注的多模态三元组数据；

21、根据多模态三元组数据，在训练的视觉语言动作模型中，根据不同规格的档案特征以及语音指令，生成适配目标的动作轨迹、抓取点位与力度；具体的，利用视觉编码器分别提取抓取相关的视觉特征与导航相关的视觉特征，利用语言编码器将文本和语音指令转化为语言特征向量；根据语言特征向量，利用高层语义推理器生成参考动作序列，利用低层动作推理器直接作用于键值缓存，分别得到各自的动作特征；将动作特征融合到动作预测中，得到动作序列；在动作规划中加入夹爪最大开合角度限制和机械臂运动范围物理约束；

22、第三方面，本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现了第一方面所述的视觉语言动作模型驱动的档案机器人自主作业方法的步骤。

23、第四方面，本发明还提供了一种电子设备，包括存储器、处理器及存储在存储器上并能够在处理器上运行的计算机程序，所述处理器执行所述程序时实现了第一方面所述的视觉语言动作模型驱动的档案机器人自主作业方法的步骤。

24、第五方面，本发明还提供了一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时，实现了第一方面所述的视觉语言动作模型驱动的档案机器人自主作业方法的步骤。

25、与现有技术相比，本发明的有益效果为：

26、1、本发明创新性地提出了视觉语言动作模型驱动的档案机器人自主作业方法，通过在训练的视觉语言动作模型中，根据不同规格的档案特征以及语音指令，生成适配目标的动作轨迹、抓取点位与力度，能够根据档案盒、袋装档案和零散文档等不同规格的档案和语音指令，生成适配的精细动作轨迹、抓取点位与力度，克服了传统方案因档案规格、形态多样性导致的夹取不稳和动作失败问题，提升了在非结构化环境下的档案抓取可靠性；通过在动作规划中加入夹爪最大开合角度限制和机械臂运动范围物理约束，在保证完成动作序列的同时，输出符合安全范围内的力度与速度参数，避免因机器人误操作导致档案材料破损，显著降低了操作中对档案本体的物理风险，进一步提高了档案抓取可靠性。

27、2、本发明创新性地提出了视觉语言动作模型驱动的档案机器人自主作业方法，设计了一种双模块差异化加权的联合损失函数，将物理约束正则化项与流匹配损失结合，通过为高层语义推理器设置宽松约束权重（保证高层动作规划的灵活性）以及为低层动作推理器设置严格约束权重（保证低层动作执行的硬件合规性），从损失优化层面强制模型输出符合档案机器人硬件极限的连续动作序列，彻底解决了仿真到真机迁移中的动作失真、机械碰撞、卡滞等问题，大幅提升动作执行的有效性与安全性。

28、3、本发明创新性地提出一种面向档案库房场景的混合推理vla模型架构，突破传统vla模型单一推理模式的局限，高层语义推理器实现高层动作序列规划与逻辑解释，低层动作推理器实现低层动作实时精调，兼顾动作规划的逻辑性与动作执行的实时性，打破传统档案机器人作业流程碎片化的局限，实现从视觉感知、语言理解到动作生成的端到端映射，无需人工衔接即可完成档案存取、盘点、运输等全流程自主作业。

29、4、本发明创新性地提出了视觉语言动作模型驱动的档案机器人自主作业方法，设计了一种视觉编码器，通过采用mobilenetv3网络作为基础骨干，引入残差连接机制，实现了视觉图像多尺度基础特征有效提取的目的，解决了深层网络的梯度消失问题。

30、5、本发明创新性地提出了视觉语言动作模型驱动的档案机器人自主作业方法，设计了一种语言编码器，采用bert-base作为骨干网络，通过骨干网络的改进和轻量化剪裁，实现了固定高维语言特征向量输出目的，在保证语义理解能力的同时解决了模型参数量和计算复杂度较高的问题。