基于视觉语言的抓取控制方法、装置、设备及存储介质
本技术涉及人工智能,具体涉及一种基于视觉语言的抓取控制方法、装置、设备及存储介质。
背景技术:
1、在杂乱环境下对目标物体的抓取作为机器人操作任务中的重要任务之一,已经被探索了数十年。常见的做法是提供目标对象的图集或收集一组演示。但对于用户来说,提供这类信息往往不可行,尤其是在开放世界的应用中。一个直观的想法就是使用自然语言指令来分配目标对象。视觉语言模型的快速发展使得这一想法变得可行且充满潜力。
2、在语言抓取任务中,现有经典方法是先从语言指令和视觉观测中获得目标对象的空间表征,再基于该表征完成抓取候选生成与筛选。根据目标空间表征的获取方式,可进一步分为传统视觉语言方法和基于大模型提示驱动方法。前者通常采用离线训练的视觉语言模型完成目标框或分割区域预测,再将定位结果输入独立的六自由度(six degrees offreedom,6-dof)抓取生成模块。这类方法结构清晰、部署成本较低,但视觉语言模型使用独立的模态编码器,视觉语言感知与抓取执行之间通常缺乏显式一致性建模,再通过复杂的融合交互,存在的问题如定位偏差、框-掩码不匹配或目标区域不完整会直接传递到下游抓取阶段,从而导致抓取位姿生成在错误目标、干扰物或非稳定区域上。后者借助多模态大语言模型(multimodal large language model,mllm)等基础模型的语义理解和推理能力,使用精心设计的提示词交互指令获得目标区域、可抓取区域或空间约束,并进一步结合抓取模块完成执行。该类方法在开放语义理解和任务推理方面具有优势,但其输出通常依赖提示设计、模型先验和交互过程,且生成的定位结果并不一定与抓取可执行性联合优化,在复杂场景中仍可能面临空间定位不稳定、几何约束不足和在线推理成本较高等问题。除了上述方法,还有一些其他方法例如vla方法能够直接从多模态观测中预测机器人控制输出,在通用任务学习和长程操作方面具有潜力,但通常需要大规模机器人数据支撑,其动作生成过程对目标区域、几何边界和6-dof抓取约束的显式建模相对不足,从而在一定程度上影响了抓取系统的实时性、稳定性与部署便利性。
3、因此,如何设计一种能实现更完备和准确的定位,提升复杂场景下抓取目标的感知与抓取可靠性的方案,成为本领域技术人员的一研究方向。
技术实现思路
1、本技术的至少一个实施例提供了一种多基于视觉语言的抓取控制方法、装置、设备及存储介质,用于解决当前在复杂场景下抓取目标的感知实时性与抓取可靠性较低的问题。
2、为了解决上述技术问题,本技术是这样实现的:
3、本技术的一实施例提供了一种基于视觉语言的抓取控制方法,包括:
4、根据输入的图像信息和文本信息进行多模态编码和嵌入投影,得到视觉特征和文本特征;
5、根据所述视觉特征进行分割预测,得到预测目标感知分割的第一分割结果;
6、根据所述文本特征和所述视觉特征进行相似性引导的空间锚定和稀疏解码,得到第一检测结果;
7、根据所述第一分割结果和所述第一检测结果进行语义空间一致性重校准,得到第二分割结果和第二检测结果;
8、根据所述第二分割结果和所述第二检测结果对所述视觉特征对应的点云进行混合位姿过滤,确定目标抓取位姿。
9、优选地,如上所述的基于视觉语言的抓取控制方法,所述根据所述视觉特征进行分割预测,得到第一分割结果,包括:
10、对所述视觉特征进行空间重构,得到空间特征图;
11、基于语义交互多尺度特征金字塔网络(semantic interaction multi-scalefeature pyramid network,simfpn),将所述空间特征图扩展为多尺度视觉表示;
12、基于u形网络解码器对所述多尺度视觉表示进行跨尺度特征融合,得到所述第一分割结果。
13、优选地,如上所述的基于视觉语言的抓取控制方法,所述根据所述文本特征和所述视觉特征进行相似性引导的空间锚定和稀疏解码,得到第一检测结果,包括:
14、根据所述文本特征构造文本查询特征;
15、根据所述视觉特征和所述文本查询特征进行由相似度引导的空间锚定,确定目标参考点并建立参考坐标系;
16、基于可变形解码器对所述参考坐标系、所述参考点、所述文本查询特征以及所述视觉特征对应的多尺度视觉表示进行跨尺度可变形注意力的稀疏解码,得到目标初始响应;
17、根据所述目标初始响应进行边界回归,得到所述第一检测结果。
18、优选地,如上所述的基于视觉语言的抓取控制方法,根据所述第一分割结果和所述第一检测结果进行语义空间一致性重校准,得到第二分割结果和第二检测结果,包括:
19、根据逻辑函数、所述第一分割结果和所述视觉特征,得到目标前景增强;
20、根据所述目标前景增强和文本特征进行多头自注意力和多卷积注意力处理,得到第二分割结果;
21、根据所述第一检测结果从所述视觉特征中提取局部兴趣区域特征;
22、根据所述文本特征、坐标嵌入以及全局多头注意力查询特征,构造局部兴趣区域查询特征;
23、根据所述局部兴趣区域查询特征、所述局部兴趣区域特征以及所述第二分割结果,得到所述第二检测结果。
24、优选地,如上所述的基于视觉语言的抓取控制方法,所述根据所述第二分割结果和所述第二检测结果对所述视觉特征对应的点云进行混合位姿过滤,确定目标抓取位姿,包括:
25、基于所述第二检测结果对所述视觉特征对应的点云进行第一过滤,得到参考点云;
26、根据所述参考点云进行抓取生成,得到多个抓取位姿;
27、根据第二分割结果对所述抓取位姿进行第二过滤,得到参考抓取位姿;
28、根据所述抓取生成时各所述参考抓取位姿对应的抓取分数沿从大到小的方式进行排序,确定前至少一个所述参考抓取位姿为所述目标抓取位姿。
29、优选地,如上所述的基于视觉语言的抓取控制方法,还包括:
30、分别获取双向一致性函数、所述第一分割结果和所述第二分割结果对应的分割损失函数,以及所述第一检测结果和所述第二检测结果对应的检测损失函数;
31、根据所述双向一致性函数、所述分割损失函数和所述检测损失函数,获取目标损失函数;
32、根据所述目标损失函数进行模型调整。
33、本技术的另一实施例提供了一种基于视觉语言的抓取控制的控制装置,包括:
34、第一处理模块,用于根据输入的图像信息和文本信息进行多模态编码和嵌入投影,得到视觉特征和文本特征;
35、第二处理模块,用于根据所述视觉特征进行分割预测,得到预测目标感知分割的第一分割结果;
36、第三处理模块,用于根据所述文本特征和所述视觉特征进行相似性引导的空间锚定和稀疏解码,得到第一检测结果;
37、第四处理模块,用于根据所述第一分割结果和所述第一检测结果进行语义空间一致性重校准,得到第二分割结果和第二检测结果;
38、第五处理模块,用于根据所述第二分割结果和所述第二检测结果对所述视觉特征对应的点云进行混合位姿过滤,确定目标抓取位姿。
39、本技术的再一实施例提供了一种电子设备,包括:处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序,所述程序被所述处理器执行时实现如上所述的基于视觉语言的抓取控制方法的步骤。
40、本技术的又一实施例提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如上所述的基于视觉语言的抓取控制方法的步骤。
41、本技术的另一实施例提供了一种计算机程序产品,包括计算机指令,该计算机指令被处理器执行时实现如上所述的基于视觉语言的抓取控制方法的步骤。
42、与现有技术相比,本技术实施例提供的基于视觉语言的抓取控制方法、装置、设备及存储介质,本技术通过在目标语义、空间定位结果与抓取预测之间建立语义一致性约束与空间可执行性约束,实现从语言理解到抓取生成的联合建模。不同于仅将视觉语言定位结果作为独立输出的方法,本技术的多任务一致性视觉语言抓取框架从抓取执行需求出发构建目标表征,使上游感知结果不仅能够正确识别语言指令所指对象,还能够为下游6-dof抓取生成提供具有几何完整性和语义约束的空间先验。有效结合视觉语言目标理解与抓取执行过程,通过增强跨模态语义对齐并引入检测分割一致性约束,提升了复杂场景下目标感知的准确性与抓取执行的可靠性。同时,结合混合抓取位姿过滤策略,进一步增强了抓取结果与目标语义约束之间的一致性。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com