一种用于摩托车生产线的机器人视觉定位方法及系统

本发明涉及机器人视觉定位，尤其涉及一种用于摩托车生产线的机器人视觉定位方法及系统。

背景技术：

1、随着摩托车生产线自动化装配水平的不断提高，针对车架、发动机、轮毂、前叉等部件的机器人视觉定位技术受到广泛关注。现有摩托车装配工位中的机器人定位方式主要依赖固定夹具限位、人工示教点位或单帧二维图像识别进行目标点定位，但是在实际应用中普遍存在以下问题：

2、普通二维相机采集到的装配图像容易受到工位振动、相机轻微抖动、夹具落位偏差和局部反光遮挡影响，导致二维装配骨点出现单帧跳变或整体漂移，影响定位稳定性；现有二维视觉定位方法通常只关注目标点坐标本身，缺少对机器人末端工具中心与目标装配骨点之间接近、对准和执行过程的相位区分，容易将快速接近阶段和精细对准阶段混合处理，造成三维定位引导结果波动；同时，传统模型多以普通二维骨点序列作为输入，难以表达摩托车装配工艺中的孔位对应关系、夹具定位关系和机器人末端执行关系，也难以将夹具定位销中心、车架安装孔心和机器人末端工具中心关键锚点的漂移状态回写至目标装配骨点，导致机器人运动轨迹修正缺乏稳定的工装基准约束，影响生产线连续装配过程中的定位精度和执行可靠性。

3、因此，如何提供一种用于摩托车生产线的机器人视觉定位方法及系统是本领域技术人员亟需解决的问题。

技术实现思路

1、本发明的一个目的在于提出一种用于摩托车生产线的机器人视觉定位方法及系统，本发明通过采集摩托车生产线目标装配工位的普通二维视频流，提取二维装配骨点并进行时序残差编排和装配相位切片，构建二维定位承接序列，再利用改进poseformer模型中的二维承接锚返算子对二维承接锚点与目标装配骨点进行锚返关联，输出机器人三维定位引导结果，并据此修正机器人运动轨迹，生成生产线定位执行记录，从而提高普通二维视觉条件下机器人装配定位的稳定性和执行可靠性。

2、根据本发明实施例的一种用于摩托车生产线的机器人视觉定位方法，包括如下步骤：

3、步骤一：获取摩托车生产线目标装配工位的普通二维视频流，对所述普通二维视频流进行逐帧拆分和图像预处理，生成工位二维观测帧序列；

4、步骤二：从所述工位二维观测帧序列中提取二维装配骨点，并为所述二维装配骨点配置骨点类型标记、二维坐标和帧序标记，生成二维装配骨点序列；

5、步骤三：根据所述二维装配骨点序列构建二维骨点残差矩阵，并执行时序残差编排处理，生成二维稳定骨点轨迹集；

6、步骤四：根据机器人末端工具中心与目标装配骨点之间的距离变化，对所述二维稳定骨点轨迹集进行装配相位切片，生成二维装配相位片段集；

7、步骤五：根据二维装配相位片段集和摩托车装配工艺关系建立二维装配承接边，构建二维定位承接图并进行漂移补偿，生成二维定位承接序列；

8、步骤六：将所述二维定位承接序列输入改进poseformer模型，通过二维承接锚返算子对二维承接锚点与目标装配骨点进行锚返关联，输出机器人三维定位引导结果；

9、步骤七：根据所述机器人三维定位引导结果修正机器人运动轨迹，并生成生产线定位执行记录。

10、可选的，所述步骤一具体为：

11、在摩托车生产线目标装配工位设置工位相机和机器人末端相机，采集摩托车部件在装配准备和装配执行过程中的二维图像，生成普通二维视频流；

12、按照采集时间顺序对所述普通二维视频流进行逐帧拆分，得到二维视频帧集合，并为二维视频帧写入采集相机标记、帧序标记和采集时间标记；

13、对所述二维视频帧集合进行图像预处理，所述图像预处理包括灰度化处理、图像去噪处理和尺度统一处理，生成预处理二维视频帧集合；

14、按照采集相机标记、采集时间标记和帧序标记对所述预处理二维视频帧集合进行排序，生成工位二维观测帧序列。

15、可选的，所述步骤二具体为：

16、读取所述工位二维观测帧序列中的各二维观测帧，对二维观测帧中的摩托车部件进行边缘提取和轮廓分割，得到摩托车部件轮廓区域；

17、在所述摩托车部件轮廓区域中提取车架安装孔心、发动机吊耳孔心、轮毂轴孔中心、前叉端部孔心、夹具定位销中心和机器人末端工具中心，作为二维装配骨点；

18、根据所述二维装配骨点对应的装配位置类别配置骨点类型标记，并根据所述二维装配骨点在二维观测帧中的像素位置配置二维坐标；

19、读取所述二维装配骨点所在二维观测帧的帧序标记，并将所述帧序标记写入对应二维装配骨点；

20、按照所述帧序标记对所述二维装配骨点进行排列，生成二维装配骨点序列。

21、可选的，所述步骤三具体为：

22、读取所述二维装配骨点序列中具有相同骨点类型标记的二维装配骨点，按照帧序标记提取二维坐标，生成骨点时序坐标链；

23、根据所述骨点时序坐标链中相邻帧的二维坐标，计算横坐标变化量和纵坐标变化量，并分别对横坐标变化量和纵坐标变化量取绝对值后相加，生成骨点帧间残差幅值；

24、按照帧序标记排列同一骨点类型标记对应的骨点帧间残差幅值，生成骨点残差行，并按照骨点类型标记顺序堆叠多个骨点残差行，构建二维骨点残差矩阵；

25、对所述二维骨点残差矩阵执行时序残差编排处理，所述时序残差编排处理包括同步漂移基准生成、孤立扰动位标记和承接坐标更新；

26、在同步漂移基准生成中，将同一帧序标记下差异不大于设定同步幅值阈值的多个骨点帧间残差幅值归入同帧同步残差组，读取同帧同步残差组中各二维装配骨点的横坐标变化量和纵坐标变化量，并分别求取平均值，生成同步漂移基准值；

27、在孤立扰动位标记中，将同一骨点残差行内当前帧序标记对应的骨点帧间残差幅值分别与前一帧序标记、后一帧序标记对应的骨点帧间残差幅值进行比较，当两个比较差值的绝对值均大于设定扰动差异阈值时，将当前帧序标记对应的位置标记为孤立扰动位；

28、在承接坐标更新中，将二维装配骨点在对应帧序标记下的横坐标减去同步漂移基准值中的横向平均值，将纵坐标减去同步漂移基准值中的纵向平均值，生成同步校正坐标，并将孤立扰动位对应的同步校正坐标替换为相邻帧序标记对应同步校正坐标的平均坐标，生成二维稳定骨点轨迹集。

29、可选的，所述步骤四具体为：

30、读取所述二维稳定骨点轨迹集中机器人末端工具中心和目标装配骨点对应的二维坐标，按照帧序标记计算机器人末端工具中心与目标装配骨点之间的骨点间距；

31、根据相邻帧序标记对应的骨点间距计算距离变化量，并按照帧序标记生成装配距离变化序列；

32、将装配距离变化序列中骨点间距持续减小且距离变化量大于设定接近变化阈值的连续帧段标记为接近相位片段；

33、将装配距离变化序列中骨点间距小于设定对准距离阈值且距离变化量小于设定对准变化阈值的连续帧段标记为对准相位片段；

34、将装配距离变化序列中骨点间距小于设定执行距离阈值且机器人末端工具中心的二维坐标变化量小于设定执行稳定阈值的连续帧段标记为执行相位片段；

35、将接近相位片段、对准相位片段和执行相位片段的起始帧序标记和结束帧序标记作为切片边界；

36、按照所述切片边界对所述二维稳定骨点轨迹集进行装配相位切片，从所述二维稳定骨点轨迹集中提取对应帧序范围内的二维装配骨点坐标，并分别写入接近相位标记、对准相位标记和执行相位标记，生成二维装配相位片段集。

37、可选的，所述步骤五具体为：

38、读取所述二维装配相位片段集中的二维装配骨点坐标、骨点类型标记、相位标记和帧序标记，并读取摩托车装配工艺关系中的孔位对应关系、夹具定位关系和机器人末端执行关系；

39、根据所述孔位对应关系，在车架安装孔心与发动机吊耳孔心之间、轮毂轴孔中心与前叉端部孔心之间建立孔位承接边；

40、根据所述夹具定位关系，在夹具定位销中心与车架安装孔心之间建立工装定位承接边；

41、根据所述机器人末端执行关系，在机器人末端工具中心与目标装配骨点之间建立末端执行承接边；

42、在同一帧序标记下，将二维装配骨点作为图节点，将孔位承接边、工装定位承接边和末端执行承接边作为二维装配承接边，构建对应帧序标记下的二维定位承接图；

43、读取夹具定位销中心在装配准备阶段的二维坐标作为工装基准坐标，并读取夹具定位销中心在接近相位片段、对准相位片段和执行相位片段中各帧序标记下的二维坐标作为工装当前坐标；

44、将工装当前坐标的横坐标减去工装基准坐标的横坐标，得到横向工装漂移量，将工装当前坐标的纵坐标减去工装基准坐标的纵坐标，得到纵向工装漂移量；

45、在同一帧序标记下，将二维定位承接图中各二维装配骨点坐标的横坐标减去横向工装漂移量，将各二维装配骨点坐标的纵坐标减去纵向工装漂移量，生成漂移补偿后的二维定位承接图；

46、按照接近相位片段、对准相位片段和执行相位片段的相位顺序，读取各相位片段内每一帧序标记对应的漂移补偿后的二维定位承接图，并按照帧序标记将多个漂移补偿后的二维定位承接图依次排列，生成二维定位承接序列。

47、可选的，所述改进poseformer模型具体包括二维骨点嵌入层、承接空间编码层、相位时间编码层、装配漂移回映层和三维定位输出层，所述装配漂移回映层中设置二维承接锚返算子；

48、将所述二维定位承接序列输入二维骨点嵌入层，所述二维骨点嵌入层对二维装配骨点坐标进行线性映射，并将线性映射结果与骨点类型标记嵌入结果、相位标记嵌入结果相加，形成二维骨点嵌入特征；

49、将所述二维骨点嵌入特征输入承接空间编码层，所述承接空间编码层在同一帧序标记下对二维骨点嵌入特征进行查询映射、键映射和值映射，将查询映射结果与键映射结果逐项相乘后求和，生成骨点空间注意力分数；

50、将孔位承接边、工装定位承接边和末端执行承接边对应的承接边偏置加入骨点空间注意力分数，经softmax函数归一化后与值映射结果相乘并求和，输出承接空间骨点特征；

51、将所述承接空间骨点特征输入相位时间编码层，所述相位时间编码层按帧序标记读取同一骨点类型标记在接近相位片段、对准相位片段和执行相位片段中的承接空间骨点特征，将相邻帧序标记对应特征逐项相乘后求和，生成时间注意力分数；

52、将接近相位片段至对准相位片段、对准相位片段至执行相位片段的相位递进偏置加入时间注意力分数，经softmax函数归一化后对不同帧序标记下的承接空间骨点特征进行加权求和，输出相位时间骨点特征；

53、将所述相位时间骨点特征输入装配漂移回映层，所述装配漂移回映层通过二维承接锚返算子读取夹具定位销中心、车架安装孔心、机器人末端工具中心与目标装配骨点之间的承接关系，将二维承接锚点的锚返汇聚特征回写至目标装配骨点对应的相位时间骨点特征中，输出装配漂移回映特征；

54、将所述装配漂移回映特征输入三维定位输出层，所述三维定位输出层依次执行全连接映射、层归一化处理和gelu激活处理，输出机器人三维定位引导结果，所述机器人三维定位引导结果包括目标装配点三维坐标和定位置信度。

55、可选的，所述二维承接锚返算子具体为：

56、将夹具定位销中心、车架安装孔心和机器人末端工具中心确定为二维承接锚点，将目标装配骨点确定为锚返目标骨点，并分别读取二维承接锚点和锚返目标骨点对应的相位时间骨点特征；

57、读取二维承接锚点在当前帧序标记下的二维坐标和前一帧序标记下的二维坐标，将当前帧序标记下的横坐标减去前一帧序标记下的横坐标，生成锚点横向位移量，将当前帧序标记下的纵坐标减去前一帧序标记下的纵坐标，生成锚点纵向位移量，首个帧序标记对应的锚点横向位移量和锚点纵向位移量均置为零；

58、将锚点横向位移量和锚点纵向位移量拼接为锚点位移向量，并对所述锚点位移向量进行线性映射，生成锚点偏移特征；

59、将锚点偏移特征与二维承接锚点对应的相位时间骨点特征相加，生成锚点承接特征；

60、沿孔位承接边、工装定位承接边和末端执行承接边检索二维承接锚点至锚返目标骨点之间的承接路径，统计承接路径经过的二维装配承接边数量，得到承接跳数；

61、将锚点承接特征与锚返目标骨点对应的相位时间骨点特征逐项相乘后求和，生成锚返相关分数；

62、将承接跳数与设定跳数衰减系数相乘，生成路径衰减分数，并将锚返相关分数减去路径衰减分数，生成锚返调制分数；

63、将多个二维承接锚点对应的锚返调制分数输入softmax函数，得到锚返权重，并将各二维承接锚点对应的锚点承接特征分别与对应锚返权重相乘后求和，生成锚返汇聚特征；

64、将锚返汇聚特征输入sigmoid函数，得到锚返门控值，并将锚返汇聚特征与锚返门控值逐元素相乘后叠加至锚返目标骨点对应的相位时间骨点特征，输出装配漂移回映特征。

65、可选的，所述步骤七具体为：

66、读取所述机器人三维定位引导结果中的目标装配点三维坐标和定位置信度；

67、当所述定位置信度大于或等于设定执行置信度阈值时，获取机器人末端工具中心当前位置，并将目标装配点三维坐标减去机器人末端工具中心当前位置，生成末端定位偏移量；

68、根据所述末端定位偏移量修正机器人运动轨迹中的机器人末端工具中心位置，并按照修正后的机器人运动轨迹控制机器人末端工具中心向目标装配点移动；

69、当所述定位置信度小于设定执行置信度阈值时，停止机器人末端工具中心移动，并输出重新定位指令；

70、基于机器人运动轨迹修正前后的机器人末端工具中心位置、目标装配点三维坐标、定位置信度和执行状态，生成生产线定位执行记录。

71、根据本发明实施例的一种用于摩托车生产线的机器人视觉定位系统，包括如下模块：

72、视频预处理模块，用于获取摩托车生产线目标装配工位的普通二维视频流，对所述普通二维视频流进行逐帧拆分和图像预处理，生成工位二维观测帧序列；

73、二维装配骨点提取模块，用于从所述工位二维观测帧序列中提取二维装配骨点，并为所述二维装配骨点配置骨点类型标记、二维坐标和帧序标记，生成二维装配骨点序列；

74、时序残差编排模块，用于根据所述二维装配骨点序列构建二维骨点残差矩阵，并执行时序残差编排处理，生成二维稳定骨点轨迹集；

75、装配相位切片模块，用于根据机器人末端工具中心与目标装配骨点之间的距离变化，对二维稳定骨点轨迹集进行装配相位切片，生成二维装配相位片段集；

76、承接图构建补偿模块，用于根据二维装配相位片段集和摩托车装配工艺关系建立二维装配承接边，构建二维定位承接图并进行漂移补偿，生成二维定位承接序列；

77、三维定位引导模块，用于将所述二维定位承接序列输入改进poseformer模型，通过二维承接锚返算子对二维承接锚点与目标装配骨点进行锚返关联，输出机器人三维定位引导结果；

78、轨迹修正记录模块，用于根据所述机器人三维定位引导结果修正机器人运动轨迹，并生成生产线定位执行记录。

79、本发明的有益效果是：

80、本发明通过将普通二维视频流转换为工位二维观测帧序列，并进一步提取二维装配骨点、构建二维骨点残差矩阵和二维稳定骨点轨迹集，使摩托车生产线中的关键装配位置形成连续稳定的二维骨点表达，降低相机抖动、工装振动和局部误检对前端视觉定位数据的影响。

81、本发明通过装配相位切片和二维定位承接图构建，使机器人末端工具中心与目标装配骨点之间的接近、对准和执行过程得到区分，并使孔位承接、工装定位和机器人末端执行关系在同一图结构中表达，提高了二维定位承接序列对摩托车真实装配过程的表达能力。

82、本发明通过改进poseformer模型对二维定位承接序列进行三维定位引导，在标准poseformer时空建模基础上引入承接空间编码、相位时间编码和二维承接锚返算子，使模型不仅学习二维装配骨点到目标装配点三维坐标的映射关系，还能够利用孔位承接边、工装定位承接边和末端执行承接边表达装配工艺约束，并将夹具定位销中心、车架安装孔心和机器人末端工具中心的锚返汇聚特征回写至目标装配骨点，从而区分整体工装漂移、部件真实位移和机器人末端接近动作，减少二维检测误差向三维定位结果的传递，提高目标装配点三维坐标和定位置信度的稳定性，提升机器人运动轨迹修正的可靠性。