一种融合视觉与语言模型的机器人抓取目标检测方法及系统与流程

本发明涉及机器人抓取控制，特别涉及一种融合视觉与语言模型的机器人抓取目标检测方法及系统。

背景技术：

1、近年来，随着深度学习与大模型的飞速发展，视觉-语言多模态融合技术在机器人抓取领域的应用已成为研究热点。抓取目标检测作为机器人执行抓取任务的核心前置环节，其准确性直接影响整个操作任务的成败。

2、目前，机器人抓取目标检测主要沿两条技术路线发展：其一是纯视觉驱动的抓取检测方法，该方法通过rgb或rgb-d图像输入，利用卷积神经网络或目标检测模型（如yolo系列、fasterr-cnn等）识别物体类别并预测抓取位姿。该类方法在目标明确、场景简单的结构化环境中表现良好，但面对家庭、仓储等非结构化环境时，纯视觉方法难以区分场景中多个相似物体，更无法理解用户指令中的属性约束与空间指向。例如，当桌面上摆放多只颜色各异的杯子时，现有视觉检测模型仅能输出“杯子”这一类别标签，无法确定用户意图指向“红色陶瓷杯”还是“蓝色玻璃杯”。

3、其二是近年来兴起的基于语言指令的抓取方法。该类方法通过将自然语言指令与视觉特征进行跨模态融合，实现语言引导的目标定位与抓取决策。例如，已公开的专利申请cn119526405a提出了一种基于视觉语言动作多模态对齐策略的机器人抓取检测方法。然而，现有基于语言指令的方法仍存在以下显著技术缺陷：（1）语言理解能力不足。现有方法对语言指令的编码多采用通用文本编码器，难以处理包含空间关系（如“左边的”“最远的”）、属性组合（如“红色的陶瓷的”）及隐含意图的复合指令，解析粒度粗糙；（2）跨模态融合深度不够。视觉特征与语言特征的融合停留在浅层特征拼接或简单注意力加权层面，缺乏细粒度的语义对齐机制，难以实现“所指即所见”的精确映射；（3）缺乏动态推理能力。面对动态场景变化，现有方法不具备实时自适应调整能力，且在指令模糊时无法主动与用户交互确认；（4）抓取检测与姿态生成割裂。目标检测与抓取姿态生成两个环节相对独立，缺乏任务语义对抓取姿态的引导与优化机制。

4、综上，现有技术难以满足非结构化环境下基于复杂自然语言指令的机器人精准抓取需求，亟需一种能够深度理解语言语义、细粒度对齐视觉特征并实现端到端联合优化的抓取目标检测方法。

技术实现思路

1、本发明针对现有机器人抓取目标检测技术中，对复杂自然语言指令理解能力不足、视觉-语言跨模态融合深度不够、动态场景自适应能力差，以及目标检测与抓取姿态生成相对独立、缺乏任务语义引导等突出问题，提供一种融合视觉与语言模型的机器人抓取目标检测方法及系统。

2、本发明通过大语言模型对自然语言指令进行多层次语义解析，结合层级化跨模态注意力机制实现视觉特征与语言特征的细粒度动态对齐，构建动态语义视觉图谱进行空间关系推理与语义约束筛选，并利用任务意图嵌入引导抓取姿态的生成与优化，同时引入增量学习机制实现模型的持续进化。本发明旨在提升机器人在非结构化环境下对复杂语言指令的理解能力和抓取目标检测的准确性，使机器人能够根据用户的自然语言指令精准、鲁棒地完成抓取任务。

3、为了实现上述发明目的，本发明提供了以下技术方案：

4、第一方面，本发明提供了一种融合视觉与语言模型的机器人抓取目标检测方法，包括以下步骤：

5、步骤s1：通过设置于机器人上的rgb-d深度相机采集目标场景的rgb图像和深度图像，同时通过语音采集模块或文本输入接口获取用户发出的自然语言抓取指令；对所述rgb图像进行去噪和色彩校正预处理，对所述深度图像进行空洞填充与滤波预处理，对所述自然语言抓取指令进行语音识别和文本规范化处理；

6、步骤s2：将预处理后的自然语言抓取指令输入预训练的大语言模型，进行多层次语义解析，所述多层次语义解析包括：实体识别与属性提取，识别指令中的目标物体名称及其视觉属性；空间关系解析，识别并量化指令中的方位关系、距离关系和排列关系描述，将其转化为可计算的空间约束条件；任务意图理解，解析指令背后的动作类型及其参数化描述；以及语义嵌入生成，基于解析结果生成全局指令嵌入、实体属性嵌入、空间关系嵌入和任务意图嵌入；

7、步骤s3：将预处理后的rgb图像输入视觉编码器提取多尺度视觉特征图，将预处理后的深度图像输入点云编码模块提取三维几何特征；将步骤s2生成的各层次语义嵌入分别通过语言编码器进行深度编码，得到多粒度语言特征序列；通过层级化跨模态注意力机制实现视觉特征与语言特征的动态对齐，所述动态对齐包括像素-词语对齐、区域-短语对齐和场景-指令全局对齐三个层级，所述层级化跨模态注意力机制中引入根据空间关系解析结果构建的空间关系偏置矩阵，以使满足空间约束的图像区域获得更高的注意力权重；基于对齐结果构建动态语义视觉图谱，所述动态语义视觉图谱以目标物体候选区域为节点、以空间关系和属性关系为边；

8、步骤s4：基于所述多尺度视觉特征图，通过区域提议网络生成目标物体候选区域集合，每个候选区域包含边界框、类别置信度和初始抓取质量评分；利用所述动态语义视觉图谱对各候选区域进行属性约束筛选和空间约束筛选，筛选出满足指令中全部属性条件和空间约束条件的候选目标；计算各候选目标的综合置信度，所述综合置信度融合视觉检测置信度、属性匹配度、空间约束满足度和意图一致性得分进行加权计算，将综合置信度最高的候选目标确定为抓取目标，当最高综合置信度低于预设阈值时触发主动交互机制；

9、步骤s5：基于确定的目标物体的三维点云数据，通过抓取姿态生成网络预测候选抓取姿态集合，每个抓取姿态包括抓取位置、抓取方向和抓取宽度；将步骤s2生成的任务意图嵌入与候选抓取姿态特征进行融合，根据任务意图中的动作类型动态调整抓取力控参数、末端执行器运动速度及抓取方向约束，得到优化后的抓取姿态；

10、步骤s6：将优化后的抓取姿态转换为机器人运动控制指令，控制机械臂执行抓取动作；通过力传感器和视觉反馈判断抓取是否成功并记录执行结果；将成功和失败的抓取案例及其对应的语言指令、场景图像和抓取参数存入经验回放池，定期对视觉-语言模型进行增量微调。

11、进一步的，步骤s3中所述动态对齐的注意力得分矩阵按公式（1）计算：;

12、其中，为视觉特征查询矩阵，为语言特征键矩阵，为特征维度，为根据步骤s2中空间关系解析结果构建的空间关系偏置矩阵；所述空间关系偏置矩阵中的每个元素值根据对应图像区域与指令中空间描述之间的几何约束符合程度进行量化赋值，当某一区域满足指令中的空间约束条件时赋予正向偏置，当不满足时赋予负向偏置或零偏置。

13、进一步的，步骤s4中所述综合置信度按公式（2）计算：;

14、其中，为视觉检测置信度，为属性匹配度，为空间约束满足度，为意图一致性得分，至为自适应融合权重，且；所述自适应融合权重至根据当前场景中视觉检测的可靠程度和语言指令中各类约束的明确程度进行动态调整，当指令中属性约束描述丰富时增大，当指令中空间关系描述明确时增大。

15、进一步的，步骤s2中所述空间关系解析具体包括：识别指令中的方位关系、距离关系和排列关系描述，将其量化为以目标物体质心为参考系的三维空间坐标偏移量及排序逻辑表达式，所述三维空间坐标偏移量以机器人当前所处位置为原点建立的世界坐标系为参考基准；当指令中存在多个空间约束时，构建空间约束层级树，按照约束的优先级顺序进行逐层筛选，其中方位关系约束的优先级高于距离关系约束，距离关系约束的优先级高于排列关系约束。

16、进一步的，步骤s3中所述动态语义视觉图谱的具体构建方式为：以场景中检测到的每个物体候选区域作为一个节点，每个节点的初始特征包含对应区域的视觉特征向量、类别标签和在世界坐标系下的三维空间位置；以物体之间的相对方位向量和属性相似度作为边的特征，构建带权有向图；采用图注意力网络对节点特征进行迭代更新，通过消息传递机制将语言指令中的空间约束信息和属性约束信息在图谱中进行传播与聚合，使每个节点最终获得融合了全局场景上下文和语言约束的增强特征表示。

17、进一步的，步骤s3中所述层级化跨模态注意力机制包括三个层级：第一层级为像素-词语对齐，计算视觉特征图中每个像素位置与指令中每个词语的语义相关性，生成视觉-词语注意力热图，用于定位与属性描述相对应的图像区域；第二层级为区域-短语对齐，将视觉特征图分割为语义区域后与指令中的属性短语和空间关系短语进行对齐，实现属性约束和空间约束在视觉空间中的映射；第三层级为场景-指令全局对齐，计算全局视觉场景特征与完整指令嵌入之间的语义一致性分数，用于对前两个层级的对齐结果进行全局校验和置信度评估，并将评估反馈传递至步骤s4的综合置信度计算中。

18、进一步的，步骤s4中所述主动交互机制具体包括：当最高综合置信度低于第一预设阈值时，通过语音合成模块或图形用户界面输出澄清性问询，提示用户对指令中模糊的指代词或缺失的属性信息进行补充说明；当最高综合置信度介于第一预设阈值和第二预设阈值之间时，输出候选目标列表供用户选择确认；接收用户的反馈信息后，将反馈信息与当前场景数据进行关联编码并输入所述大语言模型进行二次语义解析，基于二次解析结果重新执行步骤s3和步骤s4进行目标重检测，直至综合置信度满足要求或交互轮次达到上限。

19、进一步的，步骤s5中所述利用任务意图嵌入对候选抓取姿态进行约束和精化，具体包括：当任务意图嵌入表征为轻拿或易碎物抓取时，降低抓取力控参数的目标值并增加力控柔顺度系数；当任务意图嵌入表征为快速抓取时，提高末端执行器运动速度并缩短加速时间；当任务意图嵌入中包含方向约束语义时，将抓取方向角度的可行域约束在指定范围内；将精化后的抓取姿态参数通过抓取质量评估网络进行质量评分，选取评分最高的抓取姿态作为最终执行姿态。

20、第二方面，本发明提供了一种融合视觉与语言模型的机器人抓取目标检测系统，用于执行上述的方法，所述系统包括：

21、多模态数据采集模块，包括rgb-d深度相机、语音采集设备和文本输入接口，用于采集rgb图像、深度图像和自然语言抓取指令；

22、动态语义解析模块，部署有预训练的大语言模型，用于对自然语言抓取指令进行多层次语义解析，输出多粒度语义嵌入向量；

23、跨模态特征提取与对齐模块，用于提取视觉特征和语言特征并按公式（1）实现视觉特征与语言特征的动态对齐；

24、语义视觉图谱构建模块，用于构建以物体候选区域为节点、以空间关系和属性关系为边的动态语义视觉图谱；

25、目标推理与检测模块，用于基于区域提议网络生成候选目标集合，并按公式（2）计算综合置信度以确定抓取目标；

26、抓取姿态生成与优化模块，包括抓取姿态生成网络和姿态精化单元，用于生成候选抓取姿态并基于任务意图嵌入进行姿态优化；

27、机器人控制与执行模块，用于将抓取姿态转换为运动控制指令并驱动机器人执行抓取动作；

28、反馈学习模块，包括力传感器接口、视觉反馈单元和经验回放单元，用于通过力传感器采集抓取接触力数据以判断抓取成败、通过视觉反馈验证抓取后目标物体的在位状态，并将成功与失败样本存入经验回放单元进行增量学习。

29、本发明与现有技术相比，具有如下的优点和有益效果：

30、与现有技术相比，本发明具有以下有益效果：

31、1.深层语义理解与精准意图解析。 本发明利用大语言模型对自然语言抓取指令进行多层次语义解析，能够精准识别指令中的目标实体、视觉属性、空间关系（方位、距离、排列）及任务意图，克服了现有技术中通用文本编码器对空间关系、属性组合及隐含意图理解不足的问题，使机器人能够准确解析“请帮我拿一下桌子左边那个红色的杯子”等复合指令的完整语义。

32、2.细粒度跨模态动态对齐。 本发明采用层级化跨模态注意力机制，引入空间关系偏置矩阵，实现了像素-词语、区域-短语、场景-指令三个粒度的视觉-语言特征对齐，显著提升了跨模态融合的深度和精度，有效解决了现有技术中浅层特征融合导致的“所指非所见”问题。

33、3.动态语义推理与自适应交互。 本发明构建的动态语义视觉图谱将空间关系和属性关系显式建模，通过图注意力网络实现约束信息的传播与聚合，使机器人具备空间关系推理能力；同时引入主动交互机制，在指令模糊时主动澄清，提高了系统对复杂不确定场景的适应能力。

34、4.任务驱动的端到端优化与持续进化。 本发明将任务意图嵌入引入抓取姿态生成环节，实现了语言指令对抓取力控参数、运动速度及方向约束的语义级引导，克服了检测与抓取割裂的缺陷；配合增量学习机制，使系统能够从成功和失败的抓取经验中持续进化，不断提升抓取成功率和智能化水平。