轮胎模具字符图案的机器人视觉自动获取方法及系统

1.本发明涉及机器人视觉技术领域，尤其涉及轮胎模具字符图案的机器人视觉自动获取方法及系统。


背景技术：

2.轮胎模具上的字符图案往往能够记录轮胎尺寸以及其他重要的与轮胎相关的信息，所以有必要对其缺陷进行检测，现有技术中获取并检测轮胎模具的字符图案缺陷的方法往往是通过人工的方式进行获取，而人工的方式效率较低，且轮胎模具的形状等因素也会导致人工获取的结果准确性不高。


技术实现要素：

3.本发明的目的是为了至少解决现有技术的不足之一，提供轮胎模具字符图案的机器人视觉自动获取方法及系统。
4.为了实现上述目的，本发明采用以下的技术方案，
5.具体的，提出轮胎模具字符图案的机器人视觉自动获取方法，包括以下：
6.完成第一相机的标定，以获得第一相机坐标系相对机械臂基座坐标系的位置关系；
7.获取目标模具侧板的图像信息，根据所述图像信息获取目标模具侧板的中心位置坐标以及内外圈半径，将目标模具侧板的中心位置坐标对应到机械臂基座坐标系中；
8.完成第二相机的标定，以获得所述第二相机在机械臂末端关节坐标系的姿态；
9.根据目标模具侧板的中心位置坐标以及内外圈半径，规划所述第二相机的拍摄轨迹，并控制机械臂搭载所述第二相机进行拍摄图像的获取；
10.对所获取的拍摄图像进行图像拼接处理，最终形成完整图像。
11.进一步，具体的，第一相机的标定过程，包括以下，
12.将标定板放置在机械臂末端，利用示教器控制机械臂变换不同位置采集多张标定板图像，采用eye-to-hand手眼标定方法求解出第一相机坐标系相对机械臂基座坐标系的位置关系。
13.进一步，具体的，根据所述图像信息获取目标模具侧板的中心位置坐标以及内外圈半径，将目标模具侧板的中心位置坐标对应到机械臂基座坐标系中，包括，
14.对所述图像信息中的目标模具侧板进行阈值处理，提取出目标模具侧板的中心坐标(x
ic0
,y
ic0
)以及内外圈半径r
ic
、r
ic
，根据图片比例尺k还原目标模具侧板的真实尺寸，还原得到真实侧板内外圈半径为rc＝k
·ric
、rc＝k
·ric
，并计算目标模具侧板中心坐标(x
ic0
,y
ic0
)与图像信息的中心坐标(x
i0
,y
i0
)的偏移量
△
xi＝x
ic0-x
i0
、
△
yi＝y
ic0-y
i0
，从而得到实际偏移量为
△
x＝k
·
△
xi、
△
y＝k
·
△
yi，假设第一相机光心在机械臂基座坐标系中的坐标为(x,y)，侧板中心在基座坐标系中的坐标为(xc,yc)＝(x
△
x,y
△
y)，从而得到目标模具侧板中心相对于机械臂基座坐标系的位置关系。
15.进一步，具体的，根据目标模具侧板的中心位置坐标以及内外圈半径，规划所述第二相机的拍摄轨迹过程，包括以下，
16.设第二相机在拍摄高度平面上获取的视野真实尺寸为w
×
h，若h＞r
c-rc，则预设第二相机进行单圈轨迹规划；若h＜r
c-rc，则预设第二相机进行双圈轨迹规划，其中，双圈轨迹规划与单圈轨迹规划方法相同；
17.单圈轨迹规划具体过程为，通过设置角度步长step，在半径为r＝(rc rc)/2的圆上按步长step设置若干轨迹点，完成以(xc,yc)为圆心，r为半径的单圈轨迹规划。
18.进一步，具体的，对所获取的拍摄图像进行图像拼接处理，包括以下，
19.对于单圈轨迹规划拍摄的图像进行拼接成一幅完整图像，对于双圈轨迹规划拍摄的图像分别按照单圈的方式进行拼接成两幅图像，其中拼接成一幅完整图像的过程包括以下，
20.基于sift特征进行图像配准得到配准后的图像，具体包括，特征点提取、生成局部描述子、特征点匹配以及仿射变换；
21.对配准后的图像进行加权融合消除接缝处理，具体包括，
22.在进行基于sift特征进行图像配准时，仿射变换后的两幅图像会有明显的接缝，
23.此时，通过公式计算重叠区域的像素值基于此消除接缝；
24.其中，d1、d2分别是重叠区域中的点到重叠区域左边界和右边界的距离，piximg1、piximg2分别是两幅图片中重叠区域中的点的像素值。
25.进一步，在进行特征点匹配得到匹配结果之后，还会采用比值提纯法对匹配结果进行提纯，在比值提纯后，再采用ransac算法剔除离群匹配对。
26.具体的，第二相机的标定过程，包括以下，
27.将标定板放置在模具摆放平台上进行标定，通过机械臂搭载第二相机在不同位置拍摄多张标定板图像，采用eye-in-hand方法计算得到相机光心在末端坐标系的姿态。
28.本发明还提出轮胎模具字符图案的机器人视觉自动获取系统，包括：
29.机器人本体；
30.黑匣子，设置于所述机器人本体的机械臂外端，用于存放第二相机以及相配合的光源；
31.模具摆放平台，用于放置目标模具侧板，一侧固定设置有支架；
32.第一相机，固定设置于所述支架远离所述模具摆放平台的一端；
33.上位机，与所述机器人本体、第一相机以及黑匣子通过信号线连接，用于，
34.获取第一相机的标定相关信息，以获得第一相机坐标系相对机械臂基座坐标系的位置关系；
35.获取目标模具侧板的图像信息，根据所述图像信息获取目标模具侧板的中心位置坐标以及内外圈半径，将目标模具侧板的中心位置坐标对应到机械臂基座坐标系中；
36.获取第二相机的标定相关信息，以获得所述第二相机在机械臂末端关节坐标系的姿态；
37.根据目标模具侧板的中心位置坐标以及内外圈半径，规划所述第二相机的拍摄轨
迹，并控制机械臂搭载所述第二相机进行拍摄图像的获取；
38.对所获取的拍摄图像进行图像拼接处理，最终形成完整图像。
39.进一步，具体的，在所述第二相机进行目标模具侧板的图像信息获取时，控制相机倾斜一定角度以使得相机成像平面与字符图案中心点的法线方向相垂直后进行拍摄。
40.本发明还提出一种计算机可读存储的介质，所述计算机可读存储的介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现以上中任一项所述轮胎模具字符图案的机器人视觉自动获取方法的步骤。
41.本发明的有益效果为：
42.本发明通过面阵相机第一相机对放置在平台上的模具侧板进行定位，根据定位信息对轮胎模具侧板的一圈等分后，机械臂搭载“黑匣子”封装有第二相机以及光源进行逐点拍摄，以获取轮胎模具侧板上的字符图案信息，并利用图像拼接获得完整的模具侧板信息，从而进行后续的缺陷检测。本发明所提出的方法灵活性高、速度快。对工业中轮胎模具侧板字符图案的缺陷检测有重大意义。
附图说明
43.通过对结合附图所示出的实施方式进行详细说明，本公开的上述以及其他特征将更加明显，本公开附图中相同的参考标号表示相同或相似的元素，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，在附图中：
44.图1所示为本发明轮胎模具字符图案的机器人视觉自动获取方法的流程图；
45.图2所示为本发明轮胎模具字符图案的机器人视觉自动获取方法的的实施原理图；
46.图3所示为本发明轮胎模具字符图案的机器人视觉自动获取系统的原理图；
47.图4所示为本发明轮胎模具字符图案的机器人视觉自动获取系统的黑匣子结构示意图。
具体实施方式
48.以下将结合实施例和附图对本发明的构思、具体结构及产生的技术效果进行清楚、完整的描述，以充分地理解本发明的目的、方案和效果。需要说明的是，在不冲突的情况下，本技术中的实施例及实施例中的特征可以相互组合。附图中各处使用的相同的附图标记指示相同或相似的部分。
49.参照图1以及图2，实施例1，本发明提出轮胎模具字符图案的机器人视觉自动获取方法，包括以下：
50.完成第一相机的标定，以获得第一相机坐标系相对机械臂基座坐标系的位置关系；
51.获取目标模具侧板的图像信息，根据所述图像信息获取目标模具侧板的中心位置坐标以及内外圈半径，将目标模具侧板的中心位置坐标对应到机械臂基座坐标系中；
52.完成第二相机的标定，以获得所述第二相机在机械臂末端关节坐标系的姿态；
53.根据目标模具侧板的中心位置坐标以及内外圈半径，规划所述第二相机的拍摄轨
迹，并控制机械臂搭载所述第二相机进行拍摄图像的获取；
54.对所获取的拍摄图像进行图像拼接处理，最终形成完整图像。
55.在本实施例中，该方法通过面阵相机1对放置在平台上的模具侧板进行定位，根据定位信息对轮胎模具侧板的一圈等分后，机械臂搭载“黑匣子”(封装有相机2和光源)进行逐点拍摄，以获取轮胎模具侧板上的字符图案信息，并利用图像拼接获得完整的模具侧板信息，从而进行后续的缺陷检测。该方法灵活性高、速度快。在此基础上，对位于模具侧板弧面上的字符图案，控制相机倾斜一定角度后使得相机成像平面与字符图案中心点的法线方向相垂直后进行拍摄，尽量降低字符图案在成像上的变形影响。采用机械臂自主规划路径去完成拍摄任务，灵活性高且颇具效率，因此该方法对工业中轮胎模具侧板字符图案的缺陷检测有重大意义。
56.作为本发明的优选实施方式，具体的，第一相机的标定过程，包括以下，
57.将标定板放置在机械臂末端，利用示教器控制机械臂变换不同位置采集多张标定板图像，采用eye-to-hand手眼标定方法求解出第一相机坐标系相对机械臂基座坐标系的位置关系。
58.具体的，第二相机的标定过程，包括以下，
59.将标定板放置在模具摆放平台上进行标定，通过机械臂搭载第二相机在不同位置拍摄多张标定板图像，采用eye-in-hand方法计算得到相机光心在末端坐标系的姿态。
60.作为本发明的优选实施方式，具体的，根据所述图像信息获取目标模具侧板的中心位置坐标以及内外圈半径，将目标模具侧板的中心位置坐标对应到机械臂基座坐标系中，包括，
61.对所述图像信息中的目标模具侧板进行阈值处理，提取出目标模具侧板的中心坐标(x
ic0
,y
ic0
)以及内外圈半径r
ic
、r
ic
，根据图片比例尺k还原目标模具侧板的真实尺寸，还原得到真实侧板内外圈半径为rc＝k
·ric
、rc＝k
·ric
，并计算目标模具侧板中心坐标(x
ic0
,y
ic0
)与图像信息的中心坐标(x
i0
,y
i0
)的偏移量
△
xi＝x
ic0-x
i0
、
△
yi＝y
ic0-y
i0
，从而得到实际偏移量为
△
x＝k
·
△
xi、
△
y＝k
·
△
yi，假设第一相机光心在机械臂基座坐标系中的坐标为(x,y)，侧板中心在基座坐标系中的坐标为(xc,yc)＝(x
△
x,y
△
y)，从而得到目标模具侧板中心相对于机械臂基座坐标系的位置关系。
62.作为本发明的优选实施方式，具体的，根据目标模具侧板的中心位置坐标以及内外圈半径，规划所述第二相机的拍摄轨迹过程，包括以下，
63.设第二相机在拍摄高度平面上获取的视野真实尺寸为w
×
h，若h＞r
c-rc，则预设第二相机进行单圈轨迹规划；若h＜r
c-rc，则预设第二相机进行双圈轨迹规划，其中，双圈轨迹规划与单圈轨迹规划方法相同；
64.单圈轨迹规划具体过程为，通过设置角度步长step，在半径为r＝(rc rc)/2的圆上按步长step设置若干轨迹点，完成以(xc,yc)为圆心，r为半径的单圈轨迹规划。
65.其中，i表示的是图像上的尺寸，而此时是通过真实尺寸去计算的，所以在对半径进行标记时没有加i。
66.具体的，当规划完第二相机的拍摄轨迹之后，运行轨迹规划程序，开始拍摄，机械臂搭载相机运动到轨迹的初始点，悬停5s等机械臂运动平稳后拍摄第一张图片，拍摄完成后运动到下一个点，悬停5s后拍摄第二张图片(当前拍摄图片与上一张图片有一定的重叠
部分以满足图像拼接的需求)，直至拍摄完一整圈轮胎模具(最后一张图片与第一张图片有重叠部分)。拍摄完成后，机械臂回到初始位置。
67.作为本发明的优选实施方式，具体的，对所获取的拍摄图像进行图像拼接处理，包括以下，
68.对于单圈轨迹规划拍摄的图像进行拼接成一幅完整图像，对于双圈轨迹规划拍摄的图像分别按照单圈的方式进行拼接成两幅图像，其中拼接成一幅完整图像的过程包括以下，
69.基于sift特征进行图像配准得到配准后的图像，具体包括，特征点提取、生成局部描述子、特征点匹配以及仿射变换，
70.具体的，
71.特征点提取，定义高斯核为对于二维图像i(x,y)，在不同尺度下的尺度空间表示为l(x,y,σ)＝g(x,y,σ)*i(x,y)，σ是尺度因子，*表示卷积。之后通过高斯金字塔图像中同一尺度相邻的上下两层图像相减得到dog，d(x,y,σ)＝l(x,y,kσ)-l(x,y,σ)，k为相邻两个尺度图像的尺度比。生成dog尺度空间后,将每一个采样点进行扫描操作,将其与周围26个像素点进行比较,判断其是否为极值点。以这种方式找到的局部极值点就是图像的粗略特征点(关键点)。选取完图像的粗略特征点之后,利用差值算法确定关键点的位置与尺度,然后剔除对比度低的极值点,并用hessian矩阵除去由高斯差分运算造成的边缘响应干扰,以此优化特征点检测结果。
72.生成局部描述子，以特征点为中心取16
×
16像素大小区域,将此区域均分为4
×
4的子块,统计每个子块8个方向的梯度方向直方图,便可得到一个种子点。每个特征点由4
×
4个种子点构成,且每个种子点有8个方向,因此组成了4
×4×
8＝128维的特征向量,该向量具备旋转不变性、尺度不变性等。为保证向量具有一定的光照不变性,还需对其进行归一化处理。
73.特征点匹配，根据特征描述子之间的欧氏距离判断其相似性,欧氏距离越小相似度越高,反之则越低。此外,为减少错误匹配,提高匹配准确率,还会采用比值提纯法对匹配结果提纯。在比值提纯后,再采用ransac算法剔除离群匹配对,以进一步提高匹配精度。
74.仿射变换，根据两幅图像的匹配点对计算投影变换矩阵，根据变换矩阵对图像进行仿射变换；
75.对配准后的图像进行加权融合消除接缝处理，具体包括，
76.在进行基于sift特征进行图像配准时，仿射变换后的两幅图像会有明显的接缝，
77.此时，通过公式计算重叠区域的像素值基于此消除接缝；
78.其中，d1、d2分别是重叠区域中的点到重叠区域左边界和右边界的距离，piximg1、piximg2分别是两幅图片中重叠区域中的点的像素值。
79.参照图3以及图4，本发明还提出轮胎模具字符图案的机器人视觉自动获取系统，包括：
access memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包括的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括是电载波信号和电信信号。
96.尽管本发明的描述已经相当详尽且特别对几个所述实施例进行了描述，但其并非旨在局限于任何这些细节或实施例或任何特殊实施例，而是应当将其视作是通过参考所附权利要求考虑到现有技术为这些权利要求提供广义的可能性解释，从而有效地涵盖本发明的预定范围。此外，上文以发明人可预见的实施例对本发明进行描述，其目的是为了提供有用的描述，而那些目前尚未预见的对本发明的非实质性改动仍可代表本发明的等效改动。
97.以上所述，只是本发明的较佳实施例而已，本发明并不局限于上述实施方式，只要其以相同的手段达到本发明的技术效果，都应属于本发明的保护范围。在本发明的保护范围内其技术方案和/或实施方式可以有各种不同的修改和变化。