一种基于视觉检测的关节装配质量识别方法、设备及介质与流程

本发明涉及视觉检测，特别是一种基于视觉检测的关节装配质量识别方法、设备及介质。

背景技术：

1、随着工业机器人和精密自动化装备的发展，关节逐渐向小型化、高集成度和高精度方向发展。关节内部部件具有环向分布、层叠装配和局部遮挡等特点，装配质量直接影响传动精度和运行稳定性；现有关节装配质量检测主要包括人工检查、量具检测和机器视觉检测，其中机器视觉检测可依据边缘、轮廓和位置特征识别装配异常，已成为自动化检测的重要方向。

2、现有关节装配视觉检测技术仍存在不足；一方面，关节部件在转位过程中交替显现和隐藏，正常遮挡、视觉盲区与错装遮挡的图像表现相近，且多视角图像存在透视变形和中心轴偏差，难以准确识别部件并形成连续的关节环向装配图像；另一方面，现有技术多依据候选区域与正常区域的局部差异判定装配缺陷，容易受到成像噪声和配准误差影响，缺少双向验证过程，容易将伪偏离识别为真实装配缺陷。

技术实现思路

1、鉴于上述现有存在的问题，提出了本发明。

2、因此，本发明提供了一种基于视觉检测的关节装配质量识别方法解决多视角遮挡条件下关节部件难以准确识别、关节环向装配图像难以连续形成和伪偏离易被误判的问题。

3、为解决上述技术问题，本发明提供如下技术方案：

4、第一方面，本发明提供了一种基于视觉检测的关节装配质量识别方法，其包括：采集待检测关节的多视角装配图像与输出盘转位角度并进行时刻对齐和型号绑定，形成关节装配视觉时序数据；利用关节装配视觉时序数据控制输出盘按照与孔位数量互质的索引步长进行微转位，并记录各可见结构的显隐交替次序，依据显隐交替次序能否沿装配关系往返闭合识别真实部件与错装遮挡，形成关节可见装配拓扑图谱，基于关节可见装配拓扑图谱利用显隐轨迹交汇位置确定关节中心轴并统一多视角图像坐标，得到关节装配同轴校正基准，再按照显隐闭合次序补全关节装配同轴校正基准中的视觉盲区并进行环向展开融合，形成关节环向装配展开图；依据关节环向装配展开图识别破坏环向拓扑连续性的局部区域，形成关节装配偏离候选区域；使用同环正常位置特征替换候选位置并复核拓扑恢复状态，将候选位置特征迁移至同环正常位置并复核拓扑断裂迁移状态，依据拓扑恢复与断裂迁移的双向对应关系筛除伪偏离，生成关节装配双向反证筛选清单；利用关节装配双向反证筛选清单确定装配偏离对应的关节部件、环向坐标位置和装配缺陷类型，生成关节装配质量识别报告。

5、作为本发明所述基于视觉检测的关节装配质量识别方法的一种优选方案，其中，所述形成关节装配视觉时序数据，具体步骤如下：

6、采集待检测关节的多视角装配图像并读取输出盘转位角度，将关节型号对应的格雷相位码关联至多视角装配图像和编码器数据帧，并保留曝光期间周向位移不超过单像素对应尺寸的图像与角度数据，得到多视角相位编码图像帧；

7、根据多视角相位编码图像帧携带的格雷相位码匹配对应编码器数据帧，按照曝光中间时刻校正输出盘转位角度并核验实际可见结构与型号绑定采集标识的一致状态，再保留相位一致且成像清晰的图像帧并按照格雷相位码排列，形成关节装配视觉时序数据。

8、作为本发明所述基于视觉检测的关节装配质量识别方法的一种优选方案，其中，所述形成关节可见装配拓扑图谱，具体步骤如下：

9、利用关节装配视觉时序数据读取待检测关节的孔位数量，选取不超过孔位数量二分之一且与孔位数量互质的最大整数作为索引步长，并生成覆盖全部孔位的微转位次序，按照微转位次序控制输出盘依次微转位，再关联各微转位位置对应的多视角装配图像和输出盘转位角度，生成关节微转位观测数据；

10、依据关节微转位观测数据，按照相邻输出盘转位角度将前一微转位位置中的可见结构旋转映射至后一微转位位置，在映射位置的允许像素偏差范围内选取距离最近的可见区域并赋予同一结构标识，再计算各可见结构在各微转位位置中的可见像素面积比例，将可见像素面积比例不低于二分之一的状态标记为显现并将可见像素面积比例低于二分之一的状态标记为隐藏，再按照微转位次序排列显现状态与隐藏状态，形成关节显隐交替序列；

11、基于关节显隐交替序列和关节型号对应的装配关系，将同一可见结构在连续微转位位置中的结构标识依次连接为正向装配追踪路径，并按照相反微转位次序连接为反向装配追踪路径，沿关节正向装配追踪路径和关节反向装配追踪路径追踪至起始装配位置，将双向追踪均返回起始装配位置且符合装配关系的可见结构确定为真实部件，将未返回起始装配位置且与相邻真实部件持续交替显隐的可见结构确定为错装遮挡，得到关节可见装配拓扑图谱。

12、作为本发明所述基于视觉检测的关节装配质量识别方法的一种优选方案，其中，所述得到关节装配同轴校正基准，具体步骤如下：

13、利用关节可见装配拓扑图谱筛选经过往返闭合核验的真实部件，按照结构标识提取各真实部件在不同微转位位置和不同拍摄视角中的像素中心，将真实部件显现数量最多的微转位位置确定为基准微转位位置，并计算各真实部件从基准微转位位置至其余微转位位置的像素中心位移量，将各像素中心位移量对应移动轨迹的交汇位置确定为显隐轨迹交汇位置，得到多视角显隐轨迹交汇点；

14、基于多视角显隐轨迹交汇点和各拍摄视角的相机标定参数，生成空间反投影射线，并确定各空间反投影射线之间距离总和最小的空间交汇位置，根据同一输出盘端面真实部件的空间位置拟合输出盘端面，将输出盘端面的法向方向确定为关节中心轴方向并将空间交汇位置在输出盘端面上的投影位置确定为坐标原点，再以关节中心轴方向为轴向坐标方向将各拍摄视角中的图像像素投影至输出盘端面并转换至统一坐标，得到关节装配同轴校正基准。

15、作为本发明所述基于视觉检测的关节装配质量识别方法的一种优选方案，其中，所述形成关节环向装配展开图，具体步骤如下：

16、依据关节装配同轴校正基准，将各图像像素投影至以坐标原点为基准的环向坐标系和径向坐标系，确定各图像像素的环向坐标位置和径向坐标位置，利用输出盘转位角度修正环向坐标位置，并将修正后的图像像素映射至环向坐标位置和径向坐标位置对应的周期栅格，建立关节环向相位栅格；

17、利用关节环向相位栅格将未写入有效图像像素的周期栅格位置确定为候选视觉盲区，按照正向显隐次序和反向显隐次序追踪候选视觉盲区对应真实部件由隐藏转为显现的观测位置，保留双向追踪均指向同一真实部件且返回起始环向坐标位置的候选视觉盲区，再依照正向显现位置至反向显现位置的显隐闭合次序提取对应图像像素，并按照微转位角度将图像像素循环平移至候选视觉盲区，得到关节视觉盲区候选补全区域；

18、基于关节视觉盲区候选补全区域，沿正向显隐路径和反向显隐路径映射回对应原始显现位置，并核验候选补全区域与原始显现区域的结构标识和边界位置一致状态，保留双向映射均一致的候选补全区域并与原始可见区域写入关节环向相位栅格，对落入同一环向坐标位置且结构标识一致的图像像素进行融合，以孔位索引最小的真实部件对应方向作为环向展开基准位置，按照环向坐标位置递增次序展开关节环向相位栅格，并将展开末端与展开首端设置为相邻位置，形成关节环向装配展开图。

19、作为本发明所述基于视觉检测的关节装配质量识别方法的一种优选方案，其中，所述形成关节装配偏离候选区域，具体步骤如下：

20、依据关节环向装配展开图中的结构标识和径向连续关系划分独立装配环带，将关节环向装配展开图的展开末端与展开首端连接并沿独立装配环带循环移动局部分析窗口，再提取各局部分析窗口中的图像边缘和结构边界并标记不符合关节可见装配拓扑图谱的装配邻接关系，建立关节局部拓扑证据面；

21、利用关节局部拓扑证据面提取各局部分析窗口中的持续连接区域和持续孔洞区域，计算各局部分析窗口之间的拓扑距离并确定关节同环正常拓扑参照，再计算各局部分析窗口的环向拓扑偏离值，按照各局部分析窗口在关节环向装配展开图中的环向位置排列环向拓扑偏离值，形成关节环向拓扑偏离序列，将超过拓扑偏离判定界限的连续局部分析窗口按照周期邻接关系合并并排除孤立区域，形成关节装配偏离候选区域。

22、作为本发明所述基于视觉检测的关节装配质量识别方法的一种优选方案，其中，所述生成关节装配双向反证筛选清单，具体步骤如下：

23、从关节装配偏离候选区域和关节同环正常拓扑参照中提取结构边界、持续连接区域和持续孔洞区域，将关节同环正常拓扑参照中的结构边界、持续连接区域和持续孔洞区域确定为同环正常位置特征，将位于同一独立装配环带且径向坐标范围一致的关节装配偏离候选区域与关节同环正常拓扑参照进行绑定，基于结构边界确定拓扑节点并依据持续连接区域和持续孔洞区域建立节点间拓扑路径，再按照拓扑节点和节点间拓扑路径确定正常位置与候选位置之间的双向映射关系，得到关节位置特征双向映射关系；

24、利用关节位置特征双向映射关系，将同环正常位置特征写入关节装配偏离候选区域并核验拓扑断裂是否消失，再将关节装配偏离候选区域中的结构边界、持续连接区域和持续孔洞区域写入关节同环正常拓扑参照并核验是否产生相同位置的拓扑断裂，保留拓扑恢复状态与拓扑断裂迁移状态相互对应的关节装配偏离候选区域并筛除伪偏离，生成关节装配双向反证筛选清单。

25、作为本发明所述基于视觉检测的关节装配质量识别方法的一种优选方案，其中，所述生成关节装配质量识别报告，具体步骤如下：

26、依据关节装配双向反证筛选清单，将保留的关节装配偏离候选区域对应结构标识沿关节可见装配拓扑图谱中的正向装配追踪路径和反向装配追踪路径进行追踪，将双向追踪共同指向的真实部件确定为装配偏离对应的关节部件，再从关节环向拓扑偏离序列中提取各局部分析窗口的环向位置和环向拓扑偏离值，将环向拓扑偏离值最大的局部分析窗口对应环向位置确定为装配偏离对应的环向坐标位置；

27、根据装配偏离对应的关节部件和环向坐标位置，对比关节装配偏离候选区域与关节同环正常拓扑参照的结构标识、持续连接区域、持续孔洞区域和结构边界位置，并结合拓扑恢复状态和拓扑断裂迁移状态确定装配偏离对应的装配缺陷类型，再记录装配偏离对应的关节部件、环向坐标位置、装配缺陷类型、拓扑恢复状态、拓扑断裂迁移状态和关节装配偏离候选区域，并在关节环向装配展开图中标注对应位置，生成关节装配质量识别报告。

28、第二方面，本发明提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其中：所述计算机程序被处理器执行时实现如本发明第一方面所述的基于视觉检测的关节装配质量识别方法的任一步骤。

29、第三方面，本发明提供了一种计算机可读存储介质，其上存储有计算机程序，其中：所述计算机程序被处理器执行时实现如本发明第一方面所述的基于视觉检测的关节装配质量识别方法的任一步骤。

30、本发明有益效果为：通过控制输出盘按照与孔位数量互质的索引步长进行微转位，并依据显隐交替次序开展装配关系往返闭合核验，实现真实部件与错装遮挡的准确区分，达到了提高关节环向装配结构恢复完整性和部件识别准确性的效果；通过正常位置特征替换和候选位置特征迁移，分别核验拓扑恢复状态和拓扑断裂迁移状态，实现真实装配偏离确认和伪偏离筛除，达到了降低装配缺陷误判率并提高关节装配质量识别准确性的效果。