一种多模态深度学习的智能分拣识别与执行方法及系统与流程

摘要: 本发明涉及工业机器人智能分拣,更具体地说,它涉及一种多模态深度学习的智能分拣识别与执行方法及系统。背景技术:1、在工业分拣场景中,机器人通过末端集成的视觉传感器...
一种多模态深度学习的智能分拣识别与执行方法及系统与流程

本发明涉及工业机器人智能分拣,更具体地说,它涉及一种多模态深度学习的智能分拣识别与执行方法及系统。

背景技术:

1、在工业分拣场景中,机器人通过末端集成的视觉传感器与振动传感器采集待分拣物品的多模态信号,经深度学习模型提取各模态特征并执行跨模态注意力融合,由分拣决策网络输出物品类别与抓取执行参数。

2、当分拣对象为同形异材金属标准件且在料箱中呈高密度紧密排列时,现有技术存在以下问题:金属件之间的刚性面接触形成高效振动传导路径,振动信号在工件间产生强烈串扰,深度学习模型在频率域上无法有效分离高度重叠的耦合振动响应;同时,现有模态可靠性评估指标仅针对单物品维度,无法区分信号劣化究竟源自环境干扰还是邻近物品的空间信号串扰,可能将包含邻近物品信息的污染信号误判为可靠信号参与融合;此外,视觉特征因外观几何高度一致而丧失区分锚点。上述问题共同导致多模态融合在密集金属堆叠场景下的分拣识别精度显著下降。

技术实现思路

1、本发明提供一种多模态深度学习的智能分拣识别与执行方法及系统,解决相关技术中密集排列金属工件因接触面振动串扰导致单模态识别精度不足、多模态融合权重无法感知空间干扰分布的技术问题。

2、本发明公开了一种多模态深度学习的智能分拣识别与执行方法,包括:

3、通过视觉传感器采集密集排列金属工件的表面图像,利用几何匹配网络对各工件进行轮廓提取与型号匹配,生成各工件的型号标签、位置坐标及接触面拓扑关系图;

4、基于所述接触面拓扑关系图中各接触界面的面积与法向压力估计值,计算声桥传导系数矩阵;

5、由机器人末端执行器在堆叠体的暴露面施加宽频线性调频脉冲激励,通过振动传感器采集自由衰减振动时域信号,形成多触点衰减响应矩阵;

6、基于所述声桥传导系数矩阵计算频率相关传递函数矩阵,对所述多触点衰减响应矩阵中各通道执行串扰分量分离与加权投影减除,获取去串扰衰减时域信号;

7、对所述去串扰衰减时域信号提取各工件的阻尼指纹特征向量;

8、基于所述接触面拓扑关系图计算各模态的空间干扰场强度,结合去串扰前后阻尼指纹特征向量的偏移量计算解耦置信度,生成空间感知的模态融合权重向量;

9、利用所述模态融合权重向量对所述阻尼指纹特征向量与视觉几何特征向量执行加权跨模态注意力融合,输出鲁棒融合特征表示;

10、基于所述鲁棒融合特征表示检索合金材质类别,生成分拣执行指令。

11、进一步地,所述声桥传导系数矩阵  的维度为 , 为工件总数,矩阵元素  的计算方式为:

12、;

13、其中, 为工件  与工件  之间的接触界面面积, 为对应接触界面的法向压力估计值, 为由金属材料声阻抗匹配实验预先标定的声桥传导系数标定常数,为无量纲的振动能量透过率;对于不存在直接接触的工件对,。

14、进一步地,所述频率相关传递函数矩阵  的维度为 , 为测量点总数,矩阵元素  的计算方式为:

15、;

16、其中, 为工件  与其最近激励点  之间的声桥传导系数, 为测量点 至工件  中心的欧氏距离, 为与频率  相关的材料阻尼衰减系数,为频率相关的指数衰减因子;在使用前对所述频率相关传递函数矩阵  按列进行归一化处理,使各列的最大绝对值为1。

17、进一步地,所述串扰分量分离与加权投影减除包括:对于每个测量点 ,确定距离该测量点最近的工件作为自体工件,计算串扰衰减分量:

18、;

19、其中, 为测量点  的自体工件以外的邻近工件集合, 为工件 在频率  处的估计振动频谱, 为所述频率相关传递函数矩阵的对应元素;计算加权投影减除的权重 ,其中  为工件  与其最近激励点 之间的声桥传导系数,求和遍历所有工件 ;执行减除获取去串扰频域信号:

20、;

21、其中, 为测量点  在频率  处的原始频域信号;将所述去串扰频域信号经逆短时傅里叶变换获取去串扰衰减时域信号。

22、进一步地,所述估计振动频谱  采用迭代求解方式获取:将所有测量点的频域信号作为初始估计,基于所述频率相关传递函数矩阵执行最小二乘反演获取各工件的初始振动频谱估计;以初始估计为基础重新计算各测量点的串扰分量,更新减除后的频域信号并再次执行反演获取更新的振动频谱估计;重复上述过程直至相邻两次迭代的振动频谱估计之差的范数小于收敛阈值。

23、进一步地,所述提取各工件的阻尼指纹特征向量包括:对各测量点的去串扰衰减时域信号执行连续小波变换获取小波系数矩阵,对各频率分量提取幅值随时间变化的衰减包络曲线并拟合指数衰减函数获取衰减速率值,将同一工件空间区域内各测量点、各频率分量的衰减速率值经z-score标准化后组织为三维衰减速率张量 ;将所述三维衰减速率张量  输入至材质阻尼指纹提取网络,输出阻尼指纹特征向量 ;其中,所述材质阻尼指纹提取网络包括三维卷积编码器、频率维度注意力模块与全连接映射层,所述频率维度注意力模块沿频率维度计算各频率分量的注意力权重,使所述材质阻尼指纹提取网络聚焦于不同合金材质在特征频段上具有差异化内耗系数的频率区间。

24、进一步地,所述计算各模态的空间干扰场强度包括:对于每个工件 ,计算振动模态的空间干扰场强度:

25、;

26、其中, 为与工件  直接相邻的工件集合, 为声桥传导系数矩阵中对应的传导系数, 为边界重叠面积, 为中心间距;计算视觉模态的空间干扰场强度:

27、;

28、其中, 与  分别为工件  与相邻工件  的型号标签, 为指示函数,当型号标签一致时取值为1否则为0;对所有工件的空间干扰场强度采用基于极差的均值归一化处理映射至无量纲的  区间。

29、进一步地,所述生成空间感知的模态融合权重向量包括:计算解耦置信度,其中  为去串扰前后阻尼指纹特征向量的欧氏距离偏移量, 为解耦置信度调节系数;当振动模态的归一化空间干扰场强度  未超过解耦置信阈值  时,振动模态融合权重为 ;当  超过 时,振动模态融合权重为:

30、;

31、其中, 为基于常规可靠性指标计算的振动模态基础权重, 为解耦置信阈值;视觉模态融合权重为 ,其中  为视觉模态基础权重, 为视觉模态干扰调节系数;将振动模态融合权重与视觉模态融合权重归一化后形成模态融合权重向量,并对归一化后各模态融合权重设定下限值,当某模态权重低于所述下限值时将该模态权重提升至所述下限值并对其余模态权重等比缩减。

32、进一步地,所述生成分拣执行指令包括:将各工件的鲁棒融合特征表示与预建立的合金材质阻尼数据库中各材质条目的标准特征向量计算余弦相似度,取相似度最高的条目对应的合金材质类别作为材质识别结果;将同一合金材质类别的工件归为同一分拣批次,在每个分拣批次内基于所述接触面拓扑关系图确定各工件的抓取可达性并排列抓取顺序;对解耦置信度低于置信阈值的工件,在抓取前插入补充单点近距激励验证步骤重新采集衰减信号并验证材质识别结果的一致性,若不一致则更新合金材质类别并重新归入对应批次;基于分拣执行规划序列中各工件的合金材质类别、密度、硬度参数与空间位姿,计算抓取力参数与放置位置参数,输出机器人分拣执行指令序列。

33、本发明公开了一种多模态深度学习的智能分拣识别与执行系统,用于执行上述一种多模态深度学习的智能分拣识别与执行方法,包括:

34、视觉感知与拓扑生成模块,用于通过视觉传感器采集密集排列金属工件的表面图像,利用几何匹配网络对各工件进行轮廓提取与型号匹配,生成各工件的型号标签、位置坐标及接触面拓扑关系图;

35、声桥传导系数计算模块,用于基于所述接触面拓扑关系图中各接触界面的面积与法向压力估计值计算声桥传导系数矩阵;

36、振动激励与采集模块,用于控制机器人末端执行器在堆叠体的暴露面施加宽频线性调频脉冲激励,并通过振动传感器采集自由衰减振动时域信号形成多触点衰减响应矩阵;

37、串扰分离与减除模块,用于基于所述声桥传导系数矩阵计算频率相关传递函数矩阵,对所述多触点衰减响应矩阵中各通道执行串扰分量分离与加权投影减除获取去串扰衰减时域信号;

38、阻尼指纹提取模块,用于对所述去串扰衰减时域信号提取各工件的阻尼指纹特征向量;

39、空间感知融合权重生成模块,用于基于所述接触面拓扑关系图计算各模态的空间干扰场强度,结合去串扰前后阻尼指纹特征向量的偏移量计算解耦置信度,生成空间感知的模态融合权重向量;

40、跨模态注意力融合模块,用于利用所述模态融合权重向量对所述阻尼指纹特征向量与视觉几何特征向量执行加权跨模态注意力融合输出鲁棒融合特征表示;

41、分拣决策与执行模块,用于基于所述鲁棒融合特征表示检索合金材质类别,生成分拣执行指令。

42、本发明的有益效果在于:

43、本发明通过声桥传导系数矩阵将金属件刚性面接触形成的振动传导路径纳入串扰估计,声桥传导系数矩阵基于接触界面面积与法向压力估计值计算,能够表征相邻金属工件之间的振动传播效率,使基于频率相关传递函数矩阵的加权投影减除操作能够有效分离各测量点衰减信号中来自邻近不同材质工件的振动分量。去串扰后的衰减时域信号不再受邻近异质材质工件阻尼特性的污染,材质阻尼指纹提取网络因而能够在频率维度准确聚类各工件的衰减速率特征,提取可靠的阻尼指纹特征向量。

44、空间干扰场强度与解耦置信度的联合引入,使模态可靠性评分能够定量区分环境噪声劣化与空间串扰劣化两类不同成因的信号质量下降。当空间干扰场强度超过解耦置信阈值时,按解耦残差比例对融合权重进行衰减修正,避免将包含邻近物品信息的污染信号以高权重参与融合。修正后的空间感知的模态融合权重向量能够反映各模态信号经去串扰处理后的实际质量,使加权跨模态注意力融合在视觉外观一致的同形异材金属工件密集堆叠条件下仍能获取鲁棒融合特征表示,从而支持机器人实现多模态分拣识别与可靠抓取执行。