灵巧手抓取生成方法、装置、设备、介质及程序产品与流程

摘要: 本技术涉及人工智能,尤其涉及一种灵巧手抓取生成方法、装置、设备、介质及程序产品。背景技术:1、作为执行复杂操作任务的第一步,灵巧抓取在机器人学中至关重要。灵巧抓...
灵巧手抓取生成方法、装置、设备、介质及程序产品与流程

本技术涉及人工智能,尤其涉及一种灵巧手抓取生成方法、装置、设备、介质及程序产品。

背景技术:

1、作为执行复杂操作任务的第一步,灵巧抓取在机器人学中至关重要。灵巧抓取生成旨在让机器人利用多自由度灵巧手,依据目标物体的几何形状与任务需求,自动合成满足物理稳定性与任务语义的抓取位姿。由于灵巧手动作空间维度极高(通常超过20个自由度)且物体几何形状复杂多样,如何生成既能抓得稳、又能满足操作意图的抓取位姿是灵巧操作领域的核心挑战。

2、现有抓取方案主要基于物体形状或正向功能区域匹配来生成灵巧手抓取位姿,其核心思路是通过识别物体表面的可操作区域(如手柄、按钮等)来引导抓取点的选择。这类方法对于物体的语义理解是单向的,仅关注可抓取区域,但是缺乏对负向安全语义的感知能力,如此机器人在执行精细操作时无法主动规避风险区域(如刀刃、高温区、易碎部等危险区域),极易因误触危险部位而发生危险行为或损坏物体,难以满足复杂任务场景下的安全性要求。

技术实现思路

1、本技术提供一种灵巧手抓取生成方法、装置、设备、介质及程序产品,用以解决现有技术中缺乏负向安全语义的感知能力,导致在复杂任务场景中无法主动规避危险区域的问题。

2、第一方面,本技术提供一种灵巧手抓取生成方法,包括:

3、获取任务描述指令、目标物体的原始三维资产和灵巧手的运动学模型;所述任务描述指令用于指示可操作意图与不可触碰意图;

4、将所述任务描述指令、所述原始三维资产和所述运动学模型输入控制指令生成模型,得到所述控制指令生成模型输出的灵巧手抓取控制指令;

5、其中,所述控制指令生成模型用于:

6、基于所述任务描述指令,对所述原始三维资产进行跨模态语义分析,构建所述目标物体的三维双向语义场;所述三维双向语义场包括正向功能吸引场与负向风险排斥场,所述正向功能吸引场用于表征目标物体表面各区域与所述可操作意图之间的正向语义关联强度,所述负向风险排斥场用于表征目标物体表面各区域与所述不可触碰意图之间的负向语义关联强度;

7、通过所述正向功能吸引场与所述负向风险排斥场的联合引导,对所述运动学模型进行位姿搜索,得到与所述任务描述指令相匹配的目标抓取位姿;

8、基于所述目标抓取位姿,生成灵巧手抓取控制指令。

9、在一个实施例中,所述基于所述任务描述指令,对所述原始三维资产进行跨模态语义分析,构建所述目标物体的三维双向语义场,包括:

10、对所述原始三维资产进行多视角渲染,得到多帧二维图像;

11、通过多模态大模型,根据所述多帧二维图像,从所述任务描述指令中提取出可操作区域的第一文本描述和不可触碰区域的第二文本描述;

12、通过视觉语言模型,根据所述第一文本描述和所述第二文本描述,对各帧二维图像进行语义分割,分别对应得到正向语义遮罩和负向语义遮罩;

13、将所述正向语义遮罩和所述负向语义遮罩分别投影至所述原始三维资产的三维空间,为所述原始三维资产中每个采样点分配双向语义关联强度组,得到所述目标物体的三维双向语义场;所述双向语义关联强度组包括所述采样点与所述可操作意图之间的正向语义关联强度以及所述采样点与所述不可触碰意图之间的负向语义关联强度。

14、在一个实施例中,所述通过所述正向功能吸引场与所述负向风险排斥场的联合引导,对所述运动学模型进行位姿搜索,得到与所述任务描述指令相匹配的目标抓取位姿,包括:

15、构建手物交互图网络;所述手物交互图网络包括目标物体节点、灵巧手连杆节点、所述目标物体节点与所述灵巧手连杆节点之间的交互边、以及所述灵巧手连杆节点之间的自连接边;

16、通过所述正向功能吸引场与所述负向风险排斥场的联合引导,在所述手物交互图网络中对所述运动学模型进行位姿搜索,得到与所述任务描述指令相匹配的目标抓取位姿。

17、在一个实施例中,所述目标物体节点包括物体几何块节点;所述构建手物交互图网络,包括:

18、对所述原始三维资产进行局部几何块提取,得到至少一个物体几何块节点;所述物体几何块节点携带局部几何特征以及从所述三维双向语义场映射得到的双向语义权重;

19、对所述运动学模型进行连杆节点提取,得到至少一个灵巧手连杆节点;所述灵巧手连杆节点携带连杆几何身份特征;

20、基于所述灵巧手连杆节点与所述物体几何块节点之间的空间关联信息,建立所述物体几何块节点与所述灵巧手连杆节点之间的交互边;

21、基于相邻灵巧手连杆节点之间的运动逻辑,建立所述灵巧手连杆节点之间的自连接边;

22、基于所述物体几何块节点、所述灵巧手连杆节点、所述交互边、以及所述自连接边,构建手物交互图网络。

23、在一个实施例中,所述通过所述正向功能吸引场与所述负向风险排斥场的联合引导,在所述手物交互图网络中对所述运动学模型进行位姿搜索,得到与所述任务描述指令相匹配的目标抓取位姿,包括:

24、对所述手物交互图网络中所述灵巧手连杆节点的初始相对位姿注入噪声,得到随机分布的初始位姿图;

25、以所述初始位姿图为起点,执行多步去噪迭代,并且在每一步去噪迭代过程中,利用图神经网络预测当前位姿图与期望位姿图之间的噪声残差,并根据所述正向功能吸引场、所述负向风险排斥场和物理约束构建合成梯度,根据所述噪声残差和所述合成梯度更新所述当前位姿图;

26、将最后一次去噪迭代中更新得到的当前位姿图作为目标抓取位姿。

27、在一个实施例中,所述利用图神经网络预测当前位姿图与期望位姿图之间的噪声残差,包括:

28、将所述灵巧手连杆节点作为查询序列,将所述物体几何块节点作为键值序列,执行交叉注意力运算,得到融合物体语义信息的灵巧手连杆节点特征向量;

29、基于所述灵巧手连杆节点特征向量,执行自注意力运算,得到所述灵巧手连杆节点之间的动作协同特征;

30、将所述手物交互图网络的拓扑特征、所述双向语义权重、当前位姿图的位姿噪声特征、所述灵巧手连杆节点特征向量以及所述动作协同特征进行融合,得到融合特征;

31、从所述融合特征中提取出表征当前位姿图与期望位姿图之间的噪声残差的高维特征向量;

32、将所述高维特征向量映射为噪声残差。

33、在一个实施例中,所述根据所述正向功能吸引场、所述负向风险排斥场和物理约束构建合成梯度,包括:

34、根据所述正向功能吸引场构建引力势能项,根据所述负向风险排斥场构建斥力势能项,根据物体表面距离场构建物理边界项;

35、对所述引力势能项、所述斥力势能项和所述物理边界项进行加权求和,得到总势能函数;

36、对所述总势能函数求导,得到合成梯度。

37、在一个实施例中,所述根据所述噪声残差和所述合成梯度更新所述当前位姿图,包括:

38、基于所述噪声残差对所述当前位姿图进行去噪更新,得到中间位姿图;

39、基于所述合成梯度对所述中间位姿图进行修正,得到更新后的当前位姿图。

40、在一个实施例中,所述基于所述目标抓取位姿,生成灵巧手抓取控制指令,包括:

41、基于所述灵巧手的起始位姿和所述目标抓取位姿,生成包含多帧位姿的动态抓取动作序列;

42、基于所述动态抓取动作序列,生成灵巧手抓取控制指令。

43、在一个实施例中,所述基于所述灵巧手的起始位姿和所述目标抓取位姿,生成包含多帧位姿的动态抓取动作序列,包括:

44、基于所述灵巧手的起始位姿和所述目标抓取位姿,生成包含多帧位姿的初始抓取动作序列;

45、遍历所述初始抓取动作序列中的每一帧位姿,计算所述灵巧手与所述负向风险排斥场所指示的不可触碰区域之间的几何距离;若所述几何距离小于预设安全距离,则根据所述预设安全距离与所述几何距离之间的差值和排斥方向,计算位置偏移矢量,并根据所述位置偏移矢量,对当前帧位姿进行偏移修正,得到修正后的当前帧位姿;

46、根据各帧位姿,生成动态抓取动作序列。

47、在一个实施例中,在根据所述动态抓取动作序列,生成灵巧手抓取控制指令之前,还包括:

48、对所述动态抓取动作序列进行物理仿真验证;

49、若验证通过,则根据所述动态抓取动作序列,生成灵巧手抓取控制指令;

50、若验证未通过,则更新所述负向风险排斥场并重新进行位姿搜索。

51、第二方面,本技术还提供一种灵巧手抓取生成装置,包括:

52、获取模块,用于获取任务描述指令、目标物体的原始三维资产和灵巧手的运动学模型;所述任务描述指令用于指示可操作意图与不可触碰意图;

53、灵巧手抓取生成模块,用于将所述任务描述指令、所述原始三维资产和所述运动学模型输入控制指令生成模型,得到所述控制指令生成模型输出的灵巧手抓取控制指令;

54、其中,所述控制指令生成模型用于:

55、基于所述任务描述指令,对所述原始三维资产进行跨模态语义分析,构建所述目标物体的三维双向语义场;所述三维双向语义场包括正向功能吸引场与负向风险排斥场,所述正向功能吸引场用于表征目标物体表面各区域与所述可操作意图之间的正向语义关联强度,所述负向风险排斥场用于表征目标物体表面各区域与所述不可触碰意图之间的负向语义关联强度;

56、通过所述正向功能吸引场与所述负向风险排斥场的联合引导,对所述运动学模型进行位姿搜索,得到与所述任务描述指令相匹配的目标抓取位姿;

57、基于所述目标抓取位姿,生成灵巧手抓取控制指令。

58、第三方面,本技术提供一种电子设备,所述电子设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如上述任一种所述灵巧手抓取生成方法的步骤。

59、第四方面,本技术还提供一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质上存储有计算机程序,该计算机程序被处理器执行时实现如上述任一种所述灵巧手抓取生成方法的步骤。

60、第五方面,本技术还提供一种计算机程序产品,所述计算机程序产品包括计算机程序,所述计算机程序可存储在非暂态计算机可读存储介质上,所述计算机程序被所述处理器执行时实现如上述任一种所述灵巧手抓取生成方法的步骤。

61、本技术提供的灵巧手抓取生成方法、装置、设备、介质及程序产品,通过任务描述指令对原始三维资产进行跨模态语义分析,构建包含正向功能吸引场与负向风险排斥场的三维双向语义场,使得物体表面各区域同时具备双向语义标签,使得在对灵巧手模型进行位姿搜索过程中能够同时感知可操作区域的正向语义引导与不可触碰区域的负向语义约束,动态修正灵巧手位姿的演化方向,最终生成既满足操作意图又规避安全风险的目标抓取位姿,基于此生成的灵巧手抓取控制指令能够使得灵巧手在复杂抓取任务下主动规避风险区域并成功抓取物体,显著提升了抓取操作的安全性和可靠性。