相机与机械手之间的标定方法、控制器、设备及存储介质与流程

1.本发明涉及视觉检测领域，特别涉及一种相机与机械手之间的标定方法、控制器、设备及存储介质。


背景技术：

2.自动化设备运用的视觉技术是利用相机去替代人眼以完成识别和测量的功能。视觉检测的过程是通过相机拍摄的坐标信息以获取机械装置的坐标信息，而要从视觉坐标信息获取机械坐标信息，那就需要先建立图像坐标系与机械坐标系之间的转换关系。
3.现有的标定方法通过人工确定机械的运动坐标或每次的移动距离，以确保标定点出现在相机视野内的标定位置，相机在各标定坐标上拍照，记录像素坐标，并根据这些机械坐标和像素坐标计算图像坐标系与机械坐标系之间的转换关系，这种方法需要通过人工确定每一个标定点的位置，增加了操作复杂度，降低了工作效率。


技术实现要素：

4.本发明的主要目的是提出一种相机与机械手之间的标定方法、控制器、设备及存储介质，旨在降低相机与机械手之间的标定方法的人工操作复杂度，提高工作效率。
5.为实现上述目的，本发明提出相机与机械手之间的标定方法，包括：
6.步骤s10、控制机械手依次运行至多个标定点，并获取机械手在每一标定点时的第一机械坐标，以及获取相机在每一标定点拍摄的第一像素坐标；
7.步骤s20、根据多个第一机械坐标和第一像素坐标建立所述机械手与所述相机的转换关系，并记为第一转换关系式；
8.步骤s30、任意选取多个第二像素坐标，并根据选取的第二像素坐标及第一转换关系式计算出与对应的多个第二机械坐标；
9.步骤s40、控制所述机械手依次运行至多个第二机械坐标位置处，并控制相机对机械手运行至每一第二机械坐标时进行拍摄，以得到对应的多个第三像素坐标；
10.步骤s50、根据第三像素坐标和第二机械坐标建立所述机械手与相机的转换关系，并计为第二转换关系式。
11.可选地，所述步骤s20具体包括以下步骤：
12.建立机械坐标系与像素坐标系的转换方程组；
13.将多个第一像素坐标及第一机械坐标带入转换方程组，求解得到转换方程组中的未知参数，以得到第一转换关系式。
14.可选地，所述步骤s20中的转换方程组具体为：x(n)＝ax(n) by(n) c及y(n)＝dx(n) ey(n) f，其中a，b，c，d，e，f为未知参数，x(n)，y(n)分别为像素坐标系的x轴分量与y轴分量，x(n)，y(n)分别为机械坐标的x轴分量与y轴分量。
15.可选地，所述步骤s50具体包括以下步骤：
16.建立机械坐标系与像素坐标系的转换方程组；
17.将多个第三像素坐标及第二机械坐标带入转换方程组，求解得到转换方程组中的未知参数，以得到第二转换关系式。
18.可选地，所述步骤s50中的转换方程组具体为：x(n)＝ax(n) by(n) c及y(n)＝dx(n) ey(n) f，其中a，b，c，d，e，f为未知参数，x(n)，y(n)分别为像素坐标系的x轴分量与y轴分量，x(n)，y(n)分别为机械坐标的x轴分量与y轴分量。
19.可选地，在所述步骤s50之后还包括以下步骤：
20.任意选取多个第三像素坐标，并根据选取的第三像素坐标及第二转换关系式计算出与对应的多个第三机械坐标，并根据多个第三机械坐标及多个第二机械坐标，得到所述第二转换关系式的精确度；
21.在第二转换关系式的精确度小于预设精确度时，重复执行所述步骤s30至所述步骤s50；
22.第二转换关系式的精确度大于或等于预设精确度时，将第二转换关系式记为第三转换关系式。
23.可选地，所述多个第二像素坐标所对应的标定点均匀分布于所述相机的视野内。
24.本发明提出一种控制器，所述控制器包括存储器、处理器，所述存储器上存储有一种相机与机械手之间的标定程序，所述相机与机械手之间的标定程序被所述处理器执行时实现如上所述的相机与机械手之间的标定方法的步骤。
25.本发明提出一种自动化标定设备，包括：
26.机械手；
27.相机，用于拍摄所述机械手以得到所述机械手的图像；
28.控制器，用于根据所述机械手的位置获得机械坐标及根据所述机械手的图像分获得像素坐标，并根据机械坐标和像素坐标控制机械手移动及相机拍摄，所述控制器为如上所述的控制器。
29.本发明提出一种存储介质，所述存储介质上存储有一种相机与机械手之间的标定程序，所述相机与机械手之间的标定程序被处理器执行时实现如上所述的相机与机械手之间的标定方法的步骤。
30.本发明中的相机与机械手之间的标定方法通过设置粗略标定的过程和精确标定的过程，其中，粗略标定的过程包括：控制机械手依次运行至多个标定点，并获取机械手在每一标定点时的第一机械坐标，以及获取相机在每一标定点拍摄的第一像素坐标，根据多个第一机械坐标和第一像素坐标建立所述机械手与所述相机的转换关系，并记为第一转换关系式；精确标定的过程包括：意选取多个第二像素坐标，并根据选取的第二像素坐标及第一转换关系式计算出与对应的多个第二机械坐标，控制所述机械手依次运行至多个第二机械坐标位置处，并控制相机对机械手运行至每一第二机械坐标时进行拍摄，以得到对应的多个第三像素坐标，根据第三像素坐标和第二机械坐标建立所述机械手与相机的转换关系，并计为第二转换关系式。工作时，粗略标定过程的第一转换关系式用于初步标定机械坐标系与像素坐标系之间的关系，设置一个像素坐标，将这个像素坐标带入第一转换关系式计算得出的机械坐标，该机械坐标对应的点位于相机视野内，通过设置多个像素坐标，得到多个位于相机视野内的标定点，根据这些位于相机视野内标定点的机械坐标和像素坐标，建立机械坐标系与像素坐标系的转换关系式，为第二转换关系式，完成了精确标定的过程。
通过设置这种工作流程，相对于现有的标定方法，不用多次控制标定点位于相机视野内，降低相机与机械手之间的标定方法的人工操作复杂度，提高工作效率。
附图说明
31.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
32.图1为本发明相机与机械手之间的标定方法一实施例的工作流程图；
33.图2为本发明相机与机械手之间的标定方法一实施例中相机拍摄标定点的示意图。
34.本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
35.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。需要说明，若本发明实施例中有涉及方向性指示(诸如上、下、左、右、前、后
……
)，则该方向性指示仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。
36.另外，若本发明实施例中有涉及“第一”、“第二”等的描述，则该“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
37.本发明提出相机与机械手之间的标定方法，旨在解决由于数据隐含故障特征信息而导致相机与机械手之间的标定方法不准确的问题。
38.现有的大型注塑机在创建注塑机数据模型中，仍采用着传统的智能学习方法，不能充分挖掘数据中隐含故障特征信息,存在逼近精度不足的问题,导致故障诊断精度波动大及精度不够的问题。
39.参照图1及图2，在本发明一实施例中，该相机与机械手之间的标定方法包括：
40.步骤s10、控制机械手依次运行至多个标定点，并获取机械手在每一标定点时的第一机械坐标，以及获取相机在每一标定点拍摄的第一像素坐标；
41.步骤s20、根据多个第一机械坐标和第一像素坐标建立所述机械手与所述相机的转换关系，并记为第一转换关系式；
42.步骤s30、任意选取多个第二像素坐标，并根据选取的第二像素坐标及第一转换关系式计算出与对应的多个第二机械坐标；
43.步骤s40、控制所述机械手依次运行至多个第二机械坐标位置处，并控制相机对机械手运行至每一第二机械坐标时进行拍摄，以得到对应的多个第三像素坐标；
44.步骤s50、根据第三像素坐标和第二机械坐标建立所述机械手与相机的转换关系，并计为第二转换关系式。
45.本实施例中，标定点的机械坐标是基于机械手建立的机械坐标系，机械坐标与机械手移动的位置有关；而标定点的像素坐标是基于相机拍摄图像建立的像素坐标系，像素坐标与相机所拍摄的图像在相机视野内的位置有关。机械手在某一个位置会存在一个机械坐标，相机对该位置上的机械手拍照，若拍照后所得到的图像在相机视野内，就会得到一个对应的像素坐标，通过多个机械坐标和其对应的多个像素坐标，得到机械坐标系与像素坐标系之间的转换关系，从而得到机械手与相机之间的转换关系，完成机械手与相机之间的标定。
46.相机与机械手之间的标定方法包括粗略标定的过程和精确标定的过程。
47.在进行粗略标定的过程，执行步骤s10及步骤s20。通过人为控制标定点位于相机视野内的不同位置，以确保标定点有对应的机械坐标及像素坐标，得到多个标定点的第一机械坐标及第一像素坐标。根据得到的多个第一像素坐标及第一机械坐标，建立机械坐标系与像素坐标系的对应转换式。
48.第一转换关系式用于初步标定机械坐标系与像素坐标系之间的关系。
49.通过第一转换关系式得到的坐标点与实际的坐标点位置相近。例如，设置一个第二像素坐标，存在一个点a与这个第二像素坐标对应，将这个第二像素坐标带入第一转换关系式计算得出一个第二机械坐标，也存在一个点b与这个计算得出的第二机械坐标对应，点a的位置与点b相近，由于点a存在像素坐标，位于相机的视野内，且点a的位置与点b相近，故点b存在像素坐标，位于相机的视野内。
50.若设置多个第二像素坐标，通过第一转换关系式计算得到的多个第二机械坐标，第二机械坐标实际对应的点也位于原来设置第二像素坐标所对应的点位置附近，由于原来设置第二像素坐标所对应的点都是位于相机视野内的点，则计算得到的第二机械坐标实际对应的点也位于相机视野内，由此不再需要分别依次控制标定点位于视野内。
51.在进行精确标定的过程，执行步骤s30及步骤s50。步骤s30通过设置若干个位于相机视野内的点，并通过第一转换关系式计算得到的多个第二机械坐标，这些第二机械坐标实际对应的点也位于相机视野内。并控制相机对机械手运行至每一第二机械坐标时进行拍摄，以得到对应的多个第三像素坐标，根据第三像素坐标和第二机械坐标建立所述机械手与相机的转换关系，并计为第二转换关系式。
52.精确标定的过程，第二机械坐标及第三像素坐标为精确标定过程中所采用的标定点，且标定点的位置位于其对应的第二像素坐标附近。通过设置多个第二像素坐标，即设置了位于这多个第二像素坐标附近的标定点，通过这些标定点，得到第二转换关系式。第二像素坐标设置的数量越多，精确标定过程中所采用的标定点的数量越多，对应的第二转换关系式的准确性越高。
53.本实施例的工作原理是，包括粗略标定和精确标定的过程。粗略标定通过人为控制标定点位于相机视野内的不同位置，以得到第一转换关系式，通过第一转换关系式得到的坐标点与实际的坐标点位置相近。而精确标定通过设置多个第二像素坐标，再通过第一
转换关系式得到位于所设置的第二像素坐标附近的标定点，并得到这些标定点所对应的第二机械坐标及第三像素坐标，根据第二机械坐标及第三像素坐标建立机械手与相机的转换关系式。精确标定的过程不需要通过人为控制机械手，以确保标定点位于相机视野内，通过设置多个第二像素坐标，得到多个位于相机视野内的标定点来实现标定，相对于现有的标定方法，降低了操作复杂度，提高了工作效率。
54.本发明中的相机与机械手之间的标定方法通过设置粗略标定的过程和精确标定的过程，其中，粗略标定的过程包括：控制机械手依次运行至多个标定点，并获取机械手在每一标定点时的第一机械坐标，以及获取相机在每一标定点拍摄的第一像素坐标，根据多个第一机械坐标和第一像素坐标建立所述机械手与所述相机的转换关系，并记为第一转换关系式；精确标定的过程包括：意选取多个第二像素坐标，并根据选取的第二像素坐标及第一转换关系式计算出与对应的多个第二机械坐标，控制所述机械手依次运行至多个第二机械坐标位置处，并控制相机对机械手运行至每一第二机械坐标时进行拍摄，以得到对应的多个第三像素坐标，根据第三像素坐标和第二机械坐标建立所述机械手与相机的转换关系，并计为第二转换关系式。工作时，粗略标定过程的第一转换关系式用于初步标定机械坐标系与像素坐标系之间的关系，设置一个像素坐标，将这个像素坐标带入第一转换关系式计算得出的机械坐标，该机械坐标对应的点位于相机视野内，通过设置多个像素坐标，得到多个位于相机视野内的标定点，根据这些位于相机视野内标定点的机械坐标和像素坐标，建立机械坐标系与像素坐标系的转换关系式，为第二转换关系式，完成了精确标定的过程。通过设置这种工作流程，相对于现有的标定方法，不用多次控制标定点位于相机视野内，降低相机与机械手之间的标定方法的人工操作复杂度，提高工作效率。
55.在一实施例中，所述步骤s20具体包括以下步骤：
56.建立机械坐标系与像素坐标系的转换方程组；
57.将多个第一像素坐标及第一机械坐标带入转换方程组，求解得到转换方程组中的未知参数，以得到第一转换关系式。
58.在本实施例中，在机械坐标系与像素坐标系的转换方程组中，机械坐标的机械坐标与像素坐标系的像素坐标值为变量。转换方程组通过带入对组变量的值，以得到与未知参数有关的方程组，再求解未知参数有关的方程组以得到未知参数的数值。
59.在一实施例中，所述步骤s20中的转换方程组具体为：x(n)＝ax(n) by(n) c及y(n)＝dx(n) ey(n) f，其中a，b，c，d，e，f为未知参数，x(n)，y(n)分别为像素坐标系的x轴分量与y轴分量，x(n)，y(n)分别为机械坐标的x轴分量与y轴分量。
60.在本实施例中，机械坐标系与像素坐标系的转换方程组具体为x(n)＝ax(n) by(n) c及y(n)＝dx(n) ey(n) f。转换方程组中共有6个未知参数，至少需要取三个标定点，三个标定点的机械坐标为(x1,y1)、(x2,y2)及(x3,y3)，像素坐标为(x1,y1)、(x2,y2)及(x3,y3)，将这些点的坐标值带入对应的方程组中，一共可以得到6个关于未知参数的方程，通过6个方程求解出这6个未知参数。
61.在一实施例中，建立机械坐标系与像素坐标系的转换方程组；
62.将多个第三像素坐标及第二机械坐标带入转换方程组，求解得到转换方程组中的未知参数，以得到第二转换关系式。
63.在一实施例中，所述步骤s50中的转换方程组具体为：x(n)＝ax(n) by(n) c及y
(n)＝dx(n) ey(n) f，其中a，b，c，d，e，f为未知参数，x(n)，y(n)分别为像素坐标系的x轴分量与y轴分量，x(n)，y(n)分别为机械坐标的x轴分量与y轴分量。
64.在一实施例中，在所述步骤s50之后还包括以下步骤：
65.任意选取多个第三像素坐标，并根据选取的第三像素坐标及第二转换关系式计算出与对应的多个第三机械坐标，并根据多个第三机械坐标及多个第二机械坐标，得到所述第二转换关系式的精确度；
66.在第二转换关系式的精确度小于预设精确度时，重复执行所述步骤s30至所述步骤s50；
67.第二转换关系式的精确度大于或等于预设精确度时，将第二转换关系式记为第三转换关系式。
68.在本实施例中，第二机械坐标为标定点的实际机械坐标，第三机械坐标为由标定点的实际像素坐标，再通过第二转换关系得到的机械坐标，第二机械坐标与第三机械坐标之间的距离可以得到第二转换关系式的精确度。
69.在精确度不满足需求时，重复执行步骤s30至步骤s50。步骤s30至步骤s50被执行的次数越多，建立第二转换关系式所选用的标定点的数量越多，所得到的第二转换关系式更精确。通过重复执行步骤s30至步骤s50以提高第二转换关系式的精确度，在第二转换关系式的精确度满足需求时，记为第三转换关系式，第三转换关系式是通过重复执行步骤s30至步骤s50后而得到的精确度更高的第二转换关系式。
70.参照图2，在一实施例中，所述多个第二像素坐标所对应的标定点均匀分布于所述相机的视野内。
71.在本实施例中，像素坐标在相机视野内，相机的视野范围在像素坐标系中存在一个区间k，所选取的像素坐标(x，y)处于这个区间k，且所选取的像素坐标在这个区间k中服从标准均匀分布。第二像素坐标所对应的标定点尽量覆盖相机视野的全部范围，使得第二转换关系式更加准确。
72.本发明提出一种控制器。
73.该控制器包括存储器、处理器，所述存储器上存储有一种相机与机械手之间的标定程序，所述相机与机械手之间的标定程序被所述处理器执行时实现如上所述的相机与机械手之间的标定方法的步骤。由于本发明控制器采用了上述所有实施例的全部技术方案，因此至少具有上述实施例的技术方案所带来的所有有益效果，在此不再一一赘述。
74.本发明提出一种自动化标定设备。
75.该自动化标定设备包括机械手、相机，用于拍摄所述机械手以得到所述机械手的图像、控制器，用于根据所述机械手的位置获得机械坐标及根据所述机械手的图像分获得像素坐标，并根据机械坐标和像素坐标控制机械手移动及相机拍摄，所述控制器为如上所述的控制器。由于本发明自动化标定设备采用了上述所有实施例的全部技术方案，因此至少具有上述实施例的技术方案所带来的所有有益效果，在此不再一一赘述。
76.本发明一种存储介质。
77.该存储介质上存储有一种相机与机械手之间的标定程序，所述相机与机械手之间的标定程序被处理器执行时实现如上所述的相机与机械手之间的标定方法的步骤。由于本发明存储介质采用了上述所有实施例的全部技术方案，因此至少具有上述实施例的技术方
案所带来的所有有益效果，在此不再一一赘述。
78.以上所述仅为本发明的可选实施例，并非因此限制本发明的专利范围，凡是在本发明的构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。