一种取料定位修正方法及装置与流程

1.本发明涉及自动化技术领域，尤其涉及一种取料定位修正方法及装置。


背景技术：

2.随着制造业不断升级转型，电子产品生产制造过程的自动化程度越来越高，特别在快速发展的手机、电脑等消费电子制造行业。例如，在手机制造过程中，柔性电路板的放料形式大多为人工放料。操作人员需要在整版的柔性电路板中将每一个单片柔性电路板撕扯下来，然后把单片柔性电路板放入特定的夹具中。由于人工操作的易疲劳性和间断性，往往会影响产线的作业需求，特别是在订单快速增长的情况下，难以满足生产需要。因此，大多数制造企业已经开始引入自动化设备来代替人工，自动化设备采用集中放料的方式，例如通过机械臂抓取放料。但是，在产线上来料的单个产品之间均可能存在一定的位置和角度偏差，当通过机械臂等抓取装置进行抓取来料产品时，可能会导致抓取失败，或在抓取后无法准确的放入夹具中。
3.可见，目前的自动化放料的生产过程存在对来料产品抓取定位不够准确的问题，进而导致对来料产品的抓取和放置出现差错。


技术实现要素：

4.鉴于上述问题，本发明提出了一种取料定位修正方法及装置，提高了对待取产品定位的准确性，避免了自动化放料的生产过程对来料产品的抓取和放置出现差错。
5.第一方面，本技术通过一实施例提供如下技术方案：
6.一种取料定位修正方法，包括：
7.获取待取产品在产线上的整体图像和定位标记图像；根据所述整体图像中的定位标记，获得所述待取产品的摆放方向；并根据所述摆放方向与预设的方向模板，获得方向偏差；根据所述定位标记图像和预设的位置模板，获得位置偏差；根据所述方向偏差和所述位置偏差对原始定位信息进行修正，获得新定位信息。
8.可选的，所述根据所述整体图像中的定位标记，获得所述待取产品的摆放方向，包括：
9.获取所述整体图像中的多个定位标记；从所述多个定位标记中确定一组目标定位标记；拟合所述目标定位标记的坐标位置，获得所述待取产品的摆放方向。
10.可选的，所述从所述多个定位标记中确定一组目标定位标记，包括：
11.将所述多个定位标记中同一行或同一列的定位标记，确定为目标定位标记；或者，将所述多个定位标记中任意两个位于对角位置的定位标记，确定为目标定位标记。
12.可选的，所述根据所述整体图像中的定位标记，获得所述待取产品的摆放方向，包括：
13.获取所述整体图像中的多个定位标记；从所述多个定位标记中确定多组目标定位标记；其中，每组所述目标定位标记平行排列；针对每组所述目标定位标记，拟合所述目标
定位标记的坐标位置，获得目标直线；根据所述多组目标定位标记对应的多条所述目标直线，确定所述待取产品的摆放方向。
14.可选的，所述根据所述多组目标定位标记对应的多条所述目标直线，确定所述待取产品的摆放方向，包括：
15.根据多条所述目标直线的平均斜率，确定所述待取产品的摆放方向。
16.可选的，每组所述目标定位标记平行于产线的运行方向。
17.可选的，所述根据所述摆放方向与预设的方向模板，获得方向偏差，包括：
18.将所述摆放方向和所述方向模板的夹角，确定为所述方向偏差。
19.可选的，所述根据所述定位标记图像和预设的位置模板，获得位置偏差，包括：
20.将所述定位标记图像和所述位置模板进行模板匹配，获得所述位置偏差。
21.可选的，所述定位标记图像为定位孔图像；所述根据所述定位标记图像和预设的位置模板，获得位置偏差，包括：
22.获取所述定位孔图像中定位孔的第一内边缘图像，以及所述位置模板中定位孔的第二内边边缘图像；匹配所述第一内边缘图像与第二内边缘图像，获得所述位置偏差。
23.第二方面，基于同一发明构思，本技术通过一实施例提供如下技术方案：
24.一种取料定位修正装置，包括：
25.图像获取模块，用于获取待取产品在产线上的整体图像和定位标记图像；方向获取模块，用于根据所述整体图像中的定位标记，获得所述待取产品的摆放方向；并根据所述摆放方向与预设的方向模板，获得方向偏差；位置获取模块，用于根据所述定位标记图像和预设的位置模板，获得位置偏差；修正模块，用于根据所述方向偏差和所述位置偏差对原始定位信息进行修正，获得新定位信息。
26.第三方面，基于同一发明构思，本技术通过一实施例提供如下技术方案：
27.一种电子设备，包括处理器和存储器，所述存储器耦接到所述处理器，所述存储器存储指令，当所述指令由所述处理器执行时使所述电子设备执行上述第一方面中任一项所述方法的步骤。
28.第四方面，基于同一发明构思，本技术通过一实施例提供如下技术方案：
29.一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述第一方面中任一项所述方法的步骤。
30.本发明实施例中提供的一种取料定位修正方法及装置，通过获取待取产品在产线上的整体图像和定位标记图像；然后，根据整体图像中的定位标记，获得待取产品的摆放方向；并根据摆放方向与预设的方向模板，获得方向偏差；接着，根据定位标记图像和预设的位置模板，获得位置偏差；最后，根据方向偏差和位置偏差对原始定位信息进行修正，获得新定位信息，从而使得抓取装置能够基于新定位信息对待取产品进行抓取，提高了对待取产品定位的准确性，避免了自动化放料的生产过程对来料产品的抓取和放置出现差错。
31.上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
32.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
33.图1示出了本发明第一实施例提供的一种取料定位修正方法的流程图；
34.图2示出了本发明第一实施例中定位标记图像进行模板匹配的原理示意图；
35.图3示出了本发明第一实施例中第一内边缘图像进行模板匹配的原理示意图；
36.图4示出了本发明第二实施例提供的一种取料定位修正装置的结构示意图。
具体实施方式
37.下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
38.本发明实施例提供的一种取料定位修正方法，该方法可应用于自动化产线上，对来料产品抓取时进行定位修正。具体的，可用于抓取装置的控制器中，以对抓取装置的抓取定位进行修正，抓取装置可如机械臂。例如，在产线上来料盘上为柔性电路板，柔性电路板包含大板和小板，小板固定于大板上，在进行产品组装时，需要自动化的机械臂将大板上的小板抓取下来。此时，就可对来料盘上的柔性电路板的每个小板采用本实施例方法进行定位修正，保证机械臂抓取方向和位置准确；又例如，在产线皮带上，来料产品为手机或电脑等电子产品的结构件时，需要对这些结构件进行抓取和组装，但是每个来料产品的摆放位置都可能存在一些差别，若直接通过机械臂抓取可能会抓取失败。此时，可对来料产品进行定位修正，以保证机械臂抓取方向和位置准确。下面将通过一具体实施例对本发明方法进行详细阐述和说明。
39.第一实施例
40.请参见图1，示出了本发明第一实施例提供的一种取料定位修正方法，所述方法包括：
41.步骤s10：获取待取产品在产线上的整体图像和定位标记图像。
42.在步骤s10中，待取产品为自动产线上需要进行抓取的目标；该待取产品可以是柔性电路板，金属结构件，塑料件等。这些结构件上具有定位孔，并且定位孔的数量不少于两个。待取产品通过定位孔固定在来料盘上，或产线运算带上。定位标记可为待取产品上的任一结构特征，例如可为待取产品上的定位孔。在本实施例中，将以定位孔为例进行说明。
43.获取待取产品的整体图像和定位标记图像时，可采用工业相机拍摄获得，例如，可采用ccd(charge
‑
coupled device，电耦合元件)相机拍摄，也可采用cmos(complementary metal oxide semiconductor，互补金属氧化物半导体)相机拍摄。拍摄的整体图像包含待取产品的整体。拍摄的定位标记图像可为整体图像中裁剪获得的定位标记图像；也可为拍摄包含多个定位孔的图像，然后从该图像中裁剪出定位标记图像；还可以是仅仅拍摄定位标记来获得定位标记图像。在较优的实现方式中，可定位标记图像可为仅仅拍摄定位标记
获得的图像，这样可保证较高的分别率，从而使得在模板匹配时更加准确可靠。例如，当前待取产品为方形时，定位标记图像可为拍摄的待取产品上靠近边部的一行或靠近边部的一列中的任一个定位标记；进一步的，定位标记图像中的定位标记可以是一行或一列中的首个或尾个定位标记，这样可在获取定位标记图像时，快速准确的找到定位标记。
44.步骤s20：根据所述整体图像中的定位标记，获得所述待取产品的摆放方向；并根据所述摆放方向与预设的方向模板，获得方向偏差。
45.在步骤s20中，待取产品的摆放方向的定义不作限制。例如，可将待取产品的长度方向作为摆放方向，也可将待取产品的宽度方向作为摆放方向，还可将待取产品中任意两个定位标记的连线反向作为摆放方向。
46.由于定位标记相对于待取产品本身而言是固定的，因此，本实施例中可通过定位标记来确定摆放方向。具体的实现方式可如下：
47.首先，可获取整体图像中的多个定位标记，多个定位标记可为待取产品上的所有定位标记，也可以是局部定位标记。然后，从多个定位标记中确定一组目标定位标记。一组目标定位标记至少为两个，例如，将多个定位标记中同一行或同一列的定位标记，确定为目标定位标记；或者，将多个定位标记中任意两个位于对角位置的定位标记，确定为目标定位标记。最后，拟合目标定位标记的坐标位置，获得待取产品的摆放方向；也即一组两个以上的目标定位标记的坐标位置可拟合为一条直线，因此可将该拟合得到的直线方向确定为摆放方向。
48.方向模板可为待取产品在标准摆放状态下的方向，当待取产品按照方向模板进行摆放时，机械臂才能准确的进行抓取。在步骤s10之前，可通过将待取产品进行标准摆放，然后通过拍摄标准摆放状态下的待取产品，得到标准整体图像，接着根据标准整体图像中的定位标记拟合来确定方向模板。
49.方向偏差，表示摆放方向与方向模板所表示的标准方向之间的偏差角度。在获得摆放方向之后就可计算出摆放方向与方向模板之间的夹角，即偏差角度。
50.进一步的，在本实施例中可选取多组目标定位标记，每组目标定位标记之间平行排列。针对每组所述目标定位标记，拟合目标定位标记的坐标位置，获得目标直线；根据多组目标定位标记对应的多条所述目标直线，确定待取产品的摆放方向。
51.例如，当定位标记为平行的多行或多列时，且行与产线的运行方向平行；则可从多行中确定两列以上的目标行，然后在每个目标行中确定多个目标定位标记；针对每个目标行，线性拟合目标行中的多个目标定位标记，均可获得一目标直线；将多条目标直线的平均斜率所对应的直线方向，确定为摆放方向。最后，根据摆放方向与预设的方向模板，就可获得方向偏差。
52.此外，还可针对每个目标行，线性拟合目标行中的多个目标定位标记，均可获得一目标直线；根据目标直线和方向模板可得到对应的多个目标偏差角度。最后，对多个目标行对应的目标偏差角度求取均值，获得的均值结果作为最终的方向偏差。此外，也可对目标直线。这样可避免局部成像畸变所带来的误差；同时在拟合前选择的多组定位标记均平行于产线运行方向，即使成像质量较低产生虚影的情况下也不会影响最终的方向偏差的准确度，更有利于使用不同传送速度的产线。
53.步骤s30：根据所述定位标记图像和预设的位置模板，获得位置偏差。
54.在步骤s30中，位置模板中包含在标准摆放位置的定位标记图像。具体的，可采用模板匹配算法来获取位置偏差。也即，将定位标记图像和位置模板进行模板匹配，获得位置偏差。在匹配成功之后，定位标记图像相对于位置模板偏移的像素距离即为位置偏差。例如，定义平面坐标系x
‑
y，就可得到位置偏差的矢量表示δs(δx，δy)，如图2所示。
55.在进行模板匹配的过程中，可将定位标记图像的整体覆盖在位置模板上，并逐个像素进行平移，直到完全匹配，或匹配度达到预设的匹配阈值，则可认为匹配成功。
56.进一步的，定位标记为定位孔时，在本实施例中还提供如下的另一实现方式：
57.首先，可获取定位标记图像中定位标记的第一内边缘图像，以及位置模板中定位标记的第二内边边缘图像。然后，匹配第一内边缘图像与第二内边缘图像，获得位置偏差。处理图像时，可对定位标记图像和位置模板中的孔的边缘进行图像识别并抓取，从而得到第一内边缘图像和第二内边缘图像。此外，第二内边缘图像可在步骤s10之前获取完成，即位置模板为第二内边缘图像，这样可降低对待取产品进行抓取修正时的计算消耗，提高响应速度。图像识别的具体方式和手段不作限制，可采用现有常规方式完成。
58.由于采用第一内边缘图像和第二内边缘图像进行匹配，需要进行匹配的像素量更小，可极大的降低计算开销；同时，由于第一内边缘图像和第二内边缘图像均为环形图像，即使待取产品存在方向偏差也不会对第一内边缘图像和第二内边缘图像的匹配过程产生影响，保证位置偏差的准确性，如图3所示。
59.需要说明的是，本实施例中的步骤s20、步骤s30执行的先后顺序不作限制。
60.步骤s40：根据所述方向偏差和所述位置偏差对原始定位信息进行修正，获得新定位信息。
61.在步骤s40中，以一示例进行说明；例如，在平面坐标系x
‑
y中，若原始定位信息的方向为α(相对于产线移动方向)，坐标为a(a，b)；那么经过修正补偿后的新定位信息的方向为(α β)，β为方向偏差的矢量表示；新定位信息的坐标为b(a δx，b δy)，其中，δx为x轴方向上的位置偏移的矢量表示，δy为y轴方向上的位置偏移的矢量表示。进而，机械臂基于新定位信息就可准确的定位并抓取待取产品。
62.综上所述，本实施例中提供的一种取料定位修正方法，通过获取待取产品在产线上的整体图像和定位标记图像；然后，根据整体图像中的定位标记，获得待取产品的摆放方向；并根据摆放方向与预设的方向模板，获得方向偏差；接着，根据定位标记图像和预设的位置模板，获得位置偏差；最后，根据方向偏差和位置偏差对原始定位信息进行修正，获得新定位信息，从而使得抓取装置能够基于新定位信息对待取产品进行抓取，提高了对待取产品定位的准确性，避免了自动化放料的生产过程对来料产品的抓取和放置出现差错。
63.第二实施例
64.请参阅图4，基于同一发明构思，本发明第二实施例提供了一种取料定位修正装置300。所述取料定位修正装置300，包括：
65.图像获取模块301，用于获取待取产品在产线上的整体图像和定位标记图像；方向获取模块302，用于根据所述整体图像中的定位标记，获得所述待取产品的摆放方向；并根据所述摆放方向与预设的方向模板，获得方向偏差；位置获取模块303，用于根据所述定位标记图像和预设的位置模板，获得位置偏差；修正模块304，用于根据所述方向偏差和所述位置偏差对原始定位信息进行修正，获得新定位信息。
66.作为一种可选的实施方式，所述方向获取模块302，具体用于：
67.获取所述整体图像中的多个定位标记；从所述多个定位标记中确定一组目标定位标记；拟合所述目标定位标记的坐标位置，获得所述待取产品的摆放方向。
68.作为一种可选的实施方式，所述方向获取模块302，具体用于：
69.将所述多个定位标记中同一行或同一列的定位标记，确定为目标定位标记；或者，将所述多个定位标记中任意两个位于对角位置的定位标记，确定为目标定位标记。
70.作为一种可选的实施方式，所述方向获取模块302，具体用于：
71.获取所述整体图像中的多个定位标记；从所述多个定位标记中确定多组目标定位标记；其中，每组所述目标定位标记平行排列；针对每组所述目标定位标记，拟合所述目标定位标记的坐标位置，获得目标直线；根据所述多组目标定位标记对应的多条所述目标直线，确定所述待取产品的摆放方向。
72.作为一种可选的实施方式，所述方向获取模块302，具体用于：
73.根据多条所述目标直线的平均斜率，确定所述待取产品的摆放方向。
74.作为一种可选的实施方式，每组所述目标定位标记平行于产线的运行方向。
75.作为一种可选的实施方式，所述方向获取模块302，具体用于：
76.将所述摆放方向和所述方向模板的夹角，确定为所述方向偏差。
77.作为一种可选的实施方式，所述位置获取模块303，具体用于：
78.将所述定位标记图像和所述位置模板进行模板匹配，获得所述位置偏差。
79.作为一种可选的实施方式，所述位置获取模块302，具体用于：
80.获取所述定位标记图像中定位孔的第一内边缘图像，以及所述位置模板中定位孔的第二内边边缘图像；匹配所述第一内边缘图像与第二内边缘图像，获得所述位置偏差。
81.需要说明的是，本发明实施例所提供的一种取料定位修正装置300，其具体实现及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。
82.第三实施例
83.在本发明第三实施例中还提供了一种电子设备，所述电子设备包括处理器和存储器，所述存储器耦接到所述处理器，所述存储器存储指令，当所述指令由所述处理器执行时使所述电子设备执行上述第一实施例中任一项所述方法的步骤。
84.需要说明的是，本发明实施例所提供的一种电子设备，其中指令由所述处理器执行时，实现的方法及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。
85.第四实施例
86.在本发明第四实施例中还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述第一实施例中任一项所述方法的步骤。
87.需要说明的是，本发明实施例所提供的一种计算机可读存储介质，其中程序被处理器执行时实现的方法及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。
88.本文中出现的术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。另
外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系；单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
89.本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd
‑
rom、光学存储器等)上实施的计算机程序产品的形式。
90.本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
91.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
92.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
93.尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
94.显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。