异型元件的插装方法、装置、系统、电子设备和存储介质与流程

1.本技术涉及电子器件装配领域，尤其涉及一种异型元件的插装方法、装置、系统、电子设备和存储介质。


背景技术：

2.电子器件装配和检测是3c制造产业的关键工序之一。目前标准形状元件能够利用表面贴装机器进行贴装，但是继电器、变压器、异形led等异型电子元件形状结构复杂，基本上还是需要利用人工进行插装作业。随着用工荒的常态化，以及电子制造业的飞速增长、对产品质量需求的日益提高与安全生产标准的逐渐严格，传统人工插件方面经常发生误插误检的情况。
3.为解决上述传统人工插件方面经常发生误插误检的问题，相关技术中会利用由xyz模组或者四轴机器人组成的异型插件机来完成插件操作，用机械手抓取电子模块直接放入印制电路板中，但其存在自由度不高，不够轻巧灵活，只能适用于小部分异型的插件，对复杂的异型元器件的插装任务难以胜任的情况。目前，为了扩大异型插件的使用范围，会设计一些视觉感知的工业机器人来替代一线技术工人完成各个规格的异型元件的插装。比如，相关技术公开了多引脚元件针脚的视觉检测装置，其利用视觉检测装置解决了多引脚元件针脚较多，分布复杂，人工目测的工作量巨大的问题，但是其主要用于针脚的缺陷检测，并未对针脚进行定位，这样导致在面对复杂的异型插件时，由于不能对针脚进行准确的定位，出现机器的插装准确度较低的问题。
4.因此，相关技术中存在机器的插装准确度较低的问题。


技术实现要素：

5.本技术提供了一种异型元件的插装方法、装置、系统、电子设备和存储介质，以至少解决相关技术中存在机器的插装准确度较低的问题。
6.根据本技术实施例的一个方面，提供了一种异型元件的插装方法，该方法包括：获取机器人手部的初始坐标和目标坐标，其中，所述初始坐标为所述机器人手部处于初始抓取状态的位置，所述目标坐标为所述机器人手部插装异型元件的位置；获取所述异型元件的针脚图像，得到针脚中心坐标；获取待插装的印制电路板的焊盘孔，得到所述机器人手部的旋转角度，其中，所述旋转角度为以坐标原点为旋转中心点，将所述机器人手部由所述初始坐标旋转到所述针脚中心坐标的角度；根据所述旋转角度、所述初始坐标和所述目标坐标，确定所述机器人手部的偏移量，其中，所述偏移量为所述机器人手部移动所述异型元件进行插装的距离；根据所述偏移量，校正所述机器人手部完成对所述异型元件的插装操作。
7.根据本技术实施例的另一个方面，还提供了一种异型元件的插装装置，该装置包括：第一获取单元，用于获取机器人手部的初始坐标和目标坐标，其中，所述初始坐标为所述机器人手部处于初始抓取状态的位置，所述目标坐标为所述机器人手部插装异型元件的位置；第二获取单元，用于获取所述异型元件的针脚图像，得到针脚中心坐标；第三获取单
元，用于获取待插装的印制电路板的焊盘孔，得到所述机器人手部的旋转角度，其中，所述旋转角度为以坐标原点为旋转中心点，将所述机器人手部由所述初始坐标旋转到所述针脚中心坐标的角度；确定单元，用于根据所述旋转角度、所述初始坐标和所述目标坐标，确定所述机器人手部的偏移量，其中，所述偏移量为所述机器人手部移动所述异型元件进行插装的距离；校正单元，用于根据所述偏移量，校正所述机器人手部完成对所述异型元件的插装操作。
8.可选地，第二获取单元包括：提取模块，用于获取所述异型元件的针脚图像，并对所述针脚图像进行二值化处理，提取出针脚区域；确定模块，用于利用图像矩算法获取所述针脚区域中的针脚中心位置，确定针脚中心坐标。可选地，提取模块包括：遍历子单元，用于遍历所述针脚图像的各个灰度值，并将当前遍历的灰度值作为阈值；第一得到子单元，用于根据所述阈值，得到所述针脚图像的前景的像素点和所述针脚图像的背景的像素点；第二得到子单元，用于根据所述灰度值、所述前景的像素点和所述背景的像素点，得到分割阈值；划分子单元，用于利用所述分割阈值对所述针脚图像进行划分，提取出所述针脚区域。
9.可选地，第三获取单元包括：获取模块，用于利用所述第二摄像模块获取待插装的印制电路板的焊盘孔，并将所述焊盘孔作为匹配模板，其中，所述待插装的印制电路板与所述异型元件相对应；遍历模块，用于遍历所述印制电路板的焊盘图像所包含的多个子图像；匹配模块，用于将所述匹配模板与所述子图像进行相似度匹配；第一得到模块，用于在所述相似度大于或者等于相似度阈值的情况下，得到所述旋转角度。
10.可选地，确定单元包括：旋转模块，用于将所述初始坐标旋转所述旋转角度，得到所述机器人手部的当前坐标，其中，所述当前坐标为所述初始坐标根据所述旋转角度旋转后得到的坐标；第二得到模块，用于获取所述目标坐标和所述当前坐标之间的坐标差值，得到用于定位补偿的所述偏移量。
11.根据本技术实施例的另一个方面，还提供了一种异型元件的插装系统，其特征在于，所述系统包括：工控机、第一摄像模块、机器人手部、第二摄像模块、运动控制器；所述工控机分别与所述第一摄像模块、所述第二摄像模块和所述运动控制器相连，所述工控机分别控制所述第一摄像模块、所述第二摄像模块和所述运动控制器执行操作；所述运动控制器与所述机器人手部相连，所述运动控制器控制所述机器人手部做抓取运动。
12.可选地，系统还包括：第一光源和第二光源；所述第一光源与所述第一摄像模块相连，所述第一光源位于所述第一摄像模块的上方，所述第一光源用于为所述第一摄像模块提供亮光；所述第二光源与所述第二摄像模块相连，所述第二光源位于所述第二摄像模块的下方，所述第二光源用于为所述第二摄像模块提供亮光。
13.根据本技术实施例的又一个方面，还提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器、通信接口和存储器通过通信总线完成相互间的通信；其中，存储器，用于存储计算机程序；处理器，用于通过运行所述存储器上所存储的所述计算机程序来执行上述任一实施例中的方法步骤。
14.根据本技术实施例的又一个方面，还提供了一种计算机可读的存储介质，该存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一实施例中的方法步骤。
15.在本技术实施例中，采用获取机器人手部的初始坐标和目标坐标，其中，初始坐标
为机器人手部处于初始抓取状态的位置，目标坐标为机器人手部插装异型元件的位置；获取异型元件的针脚图像，得到针脚中心坐标；获取待插装的印制电路板的焊盘孔，得到机器人手部的旋转角度，其中，旋转角度为以坐标原点为旋转中心点，将机器人手部由初始坐标旋转到针脚中心坐标的角度；根据旋转角度、初始坐标和目标坐标，确定机器人手部的偏移量，其中，偏移量为机器人手部移动异型元件进行插装的距离；根据偏移量，校正机器人手部完成对异型元件的插装操作的方式，由于本技术实施例通过机器视觉获取到机器人手部的初始坐标、目标坐标以及异型元件的针脚中心坐标，利用针脚中心坐标得到机器人手部旋转至印制电路板位置的旋转角度，再通过旋转角度、初始坐标和目标坐标，确定机器人手部的偏移量，利用该偏移量完成对机器人手部坐标的校正，以使得机器人手部完成对异型元件的插装操作，从而针对复杂的异型元件，利用仿生的插装方式，实现引导机器人进行抓取异型元件完成准确插装的目的，进而解决了相关技术中存在的机器的插装准确度较低的问题。
附图说明
16.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
17.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
18.图1根据本技术实施例的一种可选的异型元件的插装方法的流程示意图；
19.图2根据本技术实施例的一种可选的坐标补偿示意图；
20.图3根据本技术实施例的一种可选的异型元件插装方法的整体流程示意图；
21.图4根据本技术实施例的一种可选的异型元件插装装置的结构框图；
22.图5根据本技术实施例的一种可选的异型元件的插装系统示意图；
23.图6根据本技术实施例的一种可选的仿生插装示意图；
24.图7根据本技术实施例的一种可选的电子设备的结构框图。
具体实施方式
25.为了使本技术领域的人员更好地理解本技术方案，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分的实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本技术保护的范围。
26.需要说明的是，本技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品
或设备固有的其它步骤或单元。
27.目前，为了扩大异型插件的使用范围，会设计一些视觉感知的工业机器人来替代一线技术工人完成各个规格的异型元件的插装。比如，相关技术公开了多引脚元件针脚的视觉检测装置，其利用视觉检测装置解决了多引脚元件针脚较多，分布复杂，人工目测的工作量巨大的问题，但是其主要用于针脚的缺陷检测，并未对针脚进行定位，这样导致在面对复杂的异型插件时，由于不能对针脚进行准确的定位，出现机器的插装准确度较低的问题。为了解决上述问题，本技术实施例提供一种异型元件的插装方法，如图1所示，该方法的流程可以包括以下步骤：
28.步骤s101，获取机器人手部的初始坐标和目标坐标，其中，初始坐标为机器人手部处于初始抓取状态的位置，目标坐标为机器人手部插装异型元件的位置。
29.可选地，本技术实施例首先使用机器视觉(如相机)定位到机器人手部在抓取物料时的位置，作为初始坐标位置，如图2中的a点坐标(x1，y1)。利用示教器示教机器人手部的插装点、相机的拍照点以及物料的抓取点，注册机器人手部的标准位置点，也即目标坐标，如图2中的c点，坐标为(x0，y0)。
30.其中，示教器是进行机器人的手动操纵、程序编写、参数配置以及监控用的手持装置。
31.步骤s102，获取异型元件的针脚图像，得到针脚中心坐标。
32.可选地，利用第一拍摄相机拍摄获取到异型元件的针脚图像，然后对该针脚图像进行区域选取，得到针脚中心的位置，确定出该中心位置的坐标。
33.步骤s103，获取待插装的印制电路板的焊盘孔，得到机器人手部的旋转角度，其中，旋转角度为以坐标原点为旋转中心点，将机器人手部由初始坐标旋转到针脚中心坐标的角度。
34.可选地，利用第二拍摄相机拍摄印刷电路板(即pcb板)的焊盘，框选出焊盘孔图像，其中，焊盘孔为机器人手部抓取异型元件，使得异型元件的针脚待插入的部位，其中，焊盘孔坐标应该和针脚中心坐标相一致，这样才能保证针脚完全插入焊盘孔内。
35.利用手眼标定技术将上述第一拍摄相机和第二拍摄相机所获得的所有图像的坐标，以及机器人手部的所有坐标，都统一到一个坐标系内。
36.然后根据机器人手部的初始坐标和针脚中心坐标，得到机器人手部的旋转角度，其中，该旋转角度以统一到一个坐标系的坐标原点为旋转中心，为将机器人手部由初始坐标旋转至针脚中心坐标的角度。
37.步骤s104，根据旋转角度、初始坐标和目标坐标，确定机器人手部的偏移量，其中，偏移量为机器人手部移动异型元件进行插装的距离。
38.可选地，将确定的机器人手部应该旋转的旋转角度，机器人手部的初始坐标以及机器人手部的目标坐标，作为计算机器人手部偏移量的参数，其中，机器人手部的坐标调整了偏移量之后，即可完成异型元件插入pcb板的插装操作。
39.步骤s105，根据偏移量，校正机器人手部完成对异型元件的插装操作。
40.可选地，在得到偏移量后，利用该偏移量校正机器人手部的当前坐标，其中，当前坐标为初始坐标根据旋转角度旋转后得到的坐标。机器人手部的当前坐标增加或减小偏移量的距离数值后，即可完成对异型元件的插装操作。
41.在本技术实施例中，采用获取机器人手部的初始坐标和目标坐标，其中，初始坐标为机器人手部处于初始抓取状态的位置，目标坐标为机器人手部插装异型元件的位置；获取异型元件的针脚图像，得到针脚中心坐标；获取待插装的印制电路板的焊盘孔，得到机器人手部的旋转角度，其中，旋转角度为以坐标原点为旋转中心点，将机器人手部由初始坐标旋转到针脚中心坐标的角度；根据旋转角度、初始坐标和目标坐标，确定机器人手部的偏移量，其中，偏移量为机器人手部移动异型元件进行插装的距离；根据偏移量，校正机器人手部完成对异型元件的插装操作的方式，由于本技术实施例通过机器视觉获取到机器人手部的初始坐标、目标坐标以及异型元件的针脚中心坐标，利用针脚中心坐标得到机器人手部旋转至印制电路板位置的旋转角度，再通过旋转角度、初始坐标和目标坐标，确定机器人手部的偏移量，利用该偏移量完成对机器人手部坐标的校正，以使得机器人手部完成对异型元件的插装操作，从而针对复杂的异型元件，利用仿生的插装方式，实现引导机器人进行抓取异型元件完成准确插装的目的，进而解决了相关技术中存在的机器的插装准确度较低的问题。
42.作为一种可选实施例，获取异型元件的针脚图像，得到针脚中心坐标包括：
43.获取异型元件的针脚图像，并对针脚图像进行二值化处理，提取出针脚区域；
44.利用图像矩算法获取针脚区域中的针脚中心位置，确定针脚中心坐标。
45.可选地，本技术实施例利用第一摄像模块拍摄异型元件的针脚，得到针脚图像，将得到的图像进行图像处理，包括二值化处理和blob分析。
46.1)其中二值化处理采用自动分割阈值计算的方法，其中分割阈值计算方式如下：
47.对于针脚图像v(i，j)，前景(即目标)和背景的分割阈值记为t，前景的像素点数占整幅图像的比例为ω0，平均灰度μ0；背景像素点数占整幅图像的比例为ω1，平均灰度μ1。图像的总平均灰度记为μ，类间方差记为g，则有：
48.μ＝ω0×
μ0 ω1×
μ1ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
49.g＝ω0×
(μ0‑
μ)2 ω1×
μ1ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)
50.将(1)代入(2)中，得到等价公式：
51.g＝ω0×
ω1×
(μ0‑
μ1)2ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)
52.采用遍历的方法得到使类间方差g最大的分割阈值t，即为所求。
53.其中，遍历针脚图像得到最大阈值t的方式具体为：通过遍历针脚图像的灰度级[0，255]，从0开始遍历到255，将当前遍历的灰度值作为阈值，小于此阈值的即为图像的背景，以此分别计算出ω0、ω1、μ0、μ1，然后带入公式(3)计算得到g，这样依次求出多个g，得到多个g的最大值，再将g值最大时对应的阈值作为分割阈值t。
[0054]
2)针对二值化后的图像，对其进行针脚区域的目标区域提取，针对针脚区域，先利用分割阈值对针脚图像进行划分，利用不同区域的针脚面积大小，来对所需区域进行筛选，得到筛选后的针脚区域。
[0055]
然后本技术实施例再利用图像矩算法对上述针脚区域进行计算，得到针脚中心位置，确定出针脚中心坐标，具体为：
[0056]
3)利用图像的矩阵来计算筛选出针脚的中心坐标位置(x2，y2)：
[0057]
零阶矩：m
00
＝σσv(i，j)
[0058]
一阶矩：m
10
＝σσi
×
v(i，j)，m
01
＝σσj
×
v(i，j)
[0059]
轮廓中心：x2＝m
10
/m
00
，y2＝m
01
/m
00
[0060]
其中：v(i，j)表示图像在(i，j)点的灰度值。
[0061]
其中，该坐标点(x2，y2)即是图3中的b点。
[0062]
作为一种可选实施例，获取待插装的印制电路板的焊盘孔，得到机器人手部的旋转角度包括：
[0063]
利用第二摄像模块获取待插装的印制电路板的焊盘孔，并将焊盘孔作为匹配模板，其中，待插装的印制电路板与异型元件相对应；
[0064]
遍历印制电路板的焊盘图像所包含的多个子图像；
[0065]
将匹配模板与子图像进行相似度匹配；
[0066]
在相似度大于或者等于相似度阈值的情况下，得到旋转角度。
[0067]
可选地，本技术实施例中，利用第二摄像模块拍摄印制电路板，框选待插装的焊盘孔，并将该焊盘孔作为匹配模板。
[0068]
然后将匹配模板从印制电路板的焊盘图像的左上角开始遍历焊盘图像中的各个子图像，搜索匹配模板特征，获取匹配模板与子图像之间的相似度，在相似度大于或者等于相似度阈值的情况下，说明在焊盘图形上找到了与待插装的焊盘孔一样的图像了，在比较相似度时，可以在图像(i，j)点处的匹配结果可以用相似度量系数s表示，其中s的数学表达式为：
[0069]
s＝1/n∑<d，e>
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)
[0070]
其中d，e分别为模板和对应图像的归一化特征向量，两个单位向量方向一致时，向量的取得最大值1，即焊盘图像上该点与匹配模板相匹配。
[0071]
获取在焊盘上与匹配模板相匹配的焊盘孔后，得到其对应的坐标，作为图3中的b点(x2，y2)，然后得到从初始坐标a点旋转到b点的旋转角度θ。
[0072]
作为一种可选实施例，根据旋转角度、初始坐标和目标坐标，确定机器人手部的偏移量包括：
[0073]
将初始坐标旋转旋转角度，得到机器人手部的当前坐标，其中，当前坐标为初始坐标根据旋转角度旋转后得到的坐标；
[0074]
获取目标坐标和当前坐标之间的坐标差值，得到用于定位补偿的偏移量。
[0075]
可选地，在计算机器人手部的偏移量时，需要先将机器人手部抓取物料时的初始坐标a(x1，y1)旋转一个旋转角度θ之后，再比较旋转后的当前坐标与机器人手部的目标坐标之间的差值，进而得到偏移量。如图3，具体计算如下：
[0076]
1)a点(x1，y1)绕0点旋转θ角度得到b点(x2，y2)：
[0077]
x2＝cosθ
×
x1 sinθ
×
y1ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(5)
[0078]
y2＝
‑
sinθ
×
x1 cosθ
×
y1ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(6)
[0079]
2)计算b点(x2，y2)到c点(x0，y0)的偏移量，即为机器人手部需要补偿的偏移量：
[0080]
delta_x＝x2–
x0ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(7)
[0081]
delta_y＝y2–
y0ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(8)
[0082]
根据偏移量delta_x和delta_y，移动机器人手部到正确的插装点位置，即(x0，y0)。
[0083]
作为一种可选实施例，如图3所示，图3根据本技术实施例的一种可选的异型元件插装方法的整体流程示意图，具体流程如下：
[0084]
多个相机和机器人手部之间进行手眼标定；
[0085]
示教器示教机器人手部的插装点和拍摄点；
[0086]
第一拍摄相机拍摄针脚；第二拍摄相机拍摄pcb板的焊盘；
[0087]
利用二值化处理和blob分析定位针脚中心坐标；利用焊盘孔匹配模板定位焊盘孔坐标；
[0088]
计算用于视觉定位补偿的偏移量；
[0089]
利用偏移量引导机器人手部到插装点位置。
[0090]
根据本技术实施例的另一个方面，还提供了一种用于实施上述异型元件的插装方法的异型元件的插装装置。图4是根据本技术实施例的一种可选的异型元件的插装装置的结构框图，如图4所示，该装置可以包括：
[0091]
第一获取单元401，用于获取机器人手部的初始坐标和目标坐标，其中，初始坐标为机器人手部处于初始抓取状态的位置，目标坐标为机器人手部插装异型元件的位置；
[0092]
第二获取单元402，用于获取异型元件的针脚图像，得到针脚中心坐标；
[0093]
第三获取单元403，用于获取待插装的印制电路板的焊盘孔，得到机器人手部的旋转角度，其中，旋转角度为以坐标原点为旋转中心点，将机器人手部由初始坐标旋转到针脚中心坐标的角度；
[0094]
确定单元404，用于根据旋转角度、初始坐标和目标坐标，确定机器人手部的偏移量，其中，偏移量为机器人手部移动异型元件进行插装的距离；
[0095]
校正单元405，用于根据偏移量，校正机器人手部完成对异型元件的插装操作。
[0096]
在本技术实施例中，采用获取机器人手部的初始坐标和目标坐标，其中，初始坐标为机器人手部处于初始抓取状态的位置，目标坐标为机器人手部插装异型元件的位置；获取异型元件的针脚图像，得到针脚中心坐标；获取待插装的印制电路板的焊盘孔，得到机器人手部的旋转角度，其中，旋转角度为以坐标原点为旋转中心点，将机器人手部由初始坐标旋转到针脚中心坐标的角度；根据旋转角度、初始坐标和目标坐标，确定机器人手部的偏移量，其中，偏移量为机器人手部移动异型元件进行插装的距离；根据偏移量，校正机器人手部完成对异型元件的插装操作的方式，由于本技术实施例通过机器视觉获取到机器人手部的初始坐标、目标坐标以及异型元件的针脚中心坐标，利用针脚中心坐标得到机器人手部旋转至印制电路板位置的旋转角度，再通过旋转角度、初始坐标和目标坐标，确定机器人手部的偏移量，利用该偏移量完成对机器人手部坐标的校正，以使得机器人手部完成对异型元件的插装操作，从而针对复杂的异型元件，利用仿生的插装方式，实现引导机器人进行抓取异型元件完成准确插装的目的，进而解决了相关技术中存在的机器的插装准确度较低的问题。
[0097]
作为一种可选实施例，该装置还包括：第四获取单元，用于在获取机器人手部的初始坐标和目标坐标之后，获取第一摄像模块的第一坐标以及第二摄像模块的第二坐标；统一单元，用于利用第一方案将初始坐标、第一坐标、第二坐标以及目标坐标统一到同一坐标系内，其中，第一方案用于标定机器人手部的位置、第一摄像装模块的位置以及第二摄像装模块的位置。
[0098]
作为一种可选实施例，第二获取单元包括：提取模块，用于获取异型元件的针脚图像，并对针脚图像进行二值化处理，提取出针脚区域；确定模块，用于利用图像矩算法获取
针脚区域中的针脚中心位置，确定针脚中心坐标。可选地，提取模块包括：遍历子单元，用于遍历针脚图像的各个灰度值，并将当前遍历的灰度值作为阈值；第一得到子单元，用于根据阈值，得到针脚图像的前景的像素点和针脚图像的背景的像素点；第二得到子单元，用于根据灰度值、前景的像素点和背景的像素点，得到分割阈值；划分子单元，用于利用分割阈值对针脚图像进行划分，提取出针脚区域。
[0099]
作为一种可选实施例，第三获取单元包括：获取模块，用于利用第二摄像模块获取待插装的印制电路板的焊盘孔，并将焊盘孔作为匹配模板，其中，待插装的印制电路板与异型元件相对应；遍历模块，用于遍历印制电路板的焊盘图像所包含的多个子图像；匹配模块，用于将匹配模板与子图像进行相似度匹配；第一得到模块，用于在相似度大于或者等于相似度阈值的情况下，得到旋转角度。
[0100]
作为一种可选实施例，确定单元包括：旋转模块，用于将初始坐标旋转旋转角度，得到机器人手部的当前坐标，其中，当前坐标为初始坐标根据旋转角度旋转后得到的坐标；第二得到模块，用于获取目标坐标和当前坐标之间的坐标差值，得到用于定位补偿的偏移量。
[0101]
根据本技术实施例的另一个方面，还提供了一种异型元件的插装系统，该系统包括：工控机、第一摄像模块、机器人手部、第二摄像模块、运动控制器、第一光源和第二光源；
[0102]
工控机分别与第一摄像模块、第二摄像模块和运动控制器相连，工控机分别控制第一摄像模块、第二摄像模块和运动控制器执行操作；
[0103]
运动控制器与机器人手部相连，运动控制器控制机器人手部做抓取运动；
[0104]
第一光源与第一摄像模块相连，第一光源位于第一摄像模块的上方，第一光源用于为第一摄像模块提供亮光；
[0105]
第二光源与第二摄像模块相连，第二光源位于第二摄像模块的下方，第二光源用于为第二摄像模块提供亮光。
[0106]
可选地，如图5所示，该图中展示了系统可以包括：工控机1、第一摄像模块9(也是图5中的下相机)、机器人手部5、第二摄像模块4(也是图5中的上相机)、运动控制器10；
[0107]
其中，工控机1分别与第一摄像模块9、第二摄像模块3和运动控制器10相连，工控机1分别控制第一摄像模块9、第二摄像模块3和运动控制器10执行操作；运动控制器10与机器人手部5相连，运动控制器10控制机器人手部5做抓取运动。
[0108]
与第一摄像模块相连是第一光源8(也是图5中的下光源)，第一光源8位于第一摄像模块9的正上方，第一光源8用于为第一摄像模块9提供亮光；与第二摄像模块4相连是第二光源3(也是图5中的上光源)，第二光源3位于第二摄像模块4的正下方，第二光源用于为第二摄像模块提供亮光。
[0109]
另外，根据图5可知，该系统还包括：流水线11，旋转机构6，其中，运动控制器10与流水线11和机器人手部5相连，分别控制流水线11和机器人手部5的运动，旋转机构6用于调整待放入的异型元件的位姿。
[0110]
这样，利用上述系统，可以将pcb板2放到流水线11上，同时该位置需要位于第二摄像模块4和第二光源3的正下方，然后将异型元件7放到第一摄像模块9拍照的正下方，机器人手部5抓取异型元件7，利用第一摄像模块9对异型元件7定位、第二摄像模块4对pcb板2定位，旋转机构6调整异型元件7的位姿，进而最终实现异型元件7插装进pcb板2中。
[0111]
根据图6展示的仿生插装示意图以及图5的系统可知，本技术实施例整个插装过程为：首先，利用图5中的旋转机构6将异型元件置于倾斜的位姿；然后，将异型元件单侧插入pcb板中，机器人手部做一个微调，使单侧的针脚贴到pcb板的圆孔外壁；最后利用旋转机构6将异型元件的位姿摆正，即可完成插装。这种方式仿照工人生产中的插装方法，降低了系统精度的要求，提高了插装的成功率。
[0112]
根据本技术实施例的又一个方面，还提供了一种用于实施上述异型元件的插装方法的电子设备，该电子设备可以是服务器、终端、或者其组合。
[0113]
图7是根据本技术实施例的一种可选的电子设备的结构框图，如图7所示，包括处理器701、通信接口702、存储器703和通信总线704，其中，处理器701、通信接口702和存储器703通过通信总线704完成相互间的通信，其中，
[0114]
存储器703，用于存储计算机程序；
[0115]
处理器701，用于执行存储器703上所存放的计算机程序时，实现如下步骤：
[0116]
s1，获取机器人手部的初始坐标和目标坐标，其中，初始坐标为机器人手部处于初始抓取状态的位置，目标坐标为机器人手部插装异型元件的位置；
[0117]
s2，获取异型元件的针脚图像，得到针脚中心坐标；
[0118]
s3，获取待插装的印制电路板的焊盘孔，得到机器人手部的旋转角度，其中，旋转角度为以坐标原点为旋转中心点，将机器人手部由初始坐标旋转到针脚中心坐标的角度；
[0119]
s4，根据旋转角度、初始坐标和目标坐标，确定机器人手部的偏移量，其中，偏移量为机器人手部移动异型元件进行插装的距离；
[0120]
s5，根据偏移量，校正机器人手部完成对异型元件的插装操作。
[0121]
可选地，在本实施例中，上述的通信总线可以是pci(peripheral component interconnect，外设部件互连标准)总线、或eisa(extended industry standard architecture，扩展工业标准结构)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图7中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
[0122]
通信接口用于上述电子设备与其他设备之间的通信。
[0123]
存储器可以包括ram，也可以包括非易失性存储器(non
‑
volatile memory)，例如，至少一个磁盘存储器。可选地，存储器还可以是至少一个位于远离前述处理器的存储装置。
[0124]
作为一种示例，如图7所示，上述存储器703中可以但不限于包括上述异型元件的插装装置中的第一获取单元401、第二获取单元402、第三获取单元403、确定单元404以及校正单元405。此外，还可以包括但不限于上述异型元件的插装装置中的其他模块单元，本示例中不再赘述。
[0125]
上述处理器可以是通用处理器，可以包含但不限于：cpu(central processing unit，中央处理器)、np(network processor，网络处理器)等；还可以是dsp(digital signal processing，数字信号处理器)、asic(application specific integrated circuit，专用集成电路)、fpga(field－programmable gate array，现场可编程门阵列)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
[0126]
此外，上述电子设备还包括：显示器，用于显示异型元件的插装结果。
[0127]
可选地，本实施例中的具体示例可以参考上述实施例中所描述的示例，本实施例
在此不再赘述。
[0128]
本领域普通技术人员可以理解，图7所示的结构仅为示意，实施上述异型元件的插装方法的设备可以是终端设备，该终端设备可以是智能手机(如android手机、ios手机等)、平板电脑、掌上电脑以及移动互联网设备(mobile internet devices，mid)、pad等终端设备。图7其并不对上述电子设备的结构造成限定。例如，终端设备还可包括比图7中所示更多或者更少的组件(如网络接口、显示装置等)，或者具有与图7所示的不同的配置。
[0129]
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、rom、ram、磁盘或光盘等。
[0130]
根据本技术实施例的又一个方面，还提供了一种存储介质。可选地，在本实施例中，上述存储介质可以用于执行异型元件的插装方法的程序代码。
[0131]
可选地，在本实施例中，上述存储介质可以位于上述实施例所示的网络中的多个网络设备中的至少一个网络设备上。
[0132]
可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：
[0133]
s1，获取机器人手部的初始坐标和目标坐标，其中，初始坐标为机器人手部处于初始抓取状态的位置，目标坐标为机器人手部插装异型元件的位置；
[0134]
s2，获取异型元件的针脚图像，得到针脚中心坐标；
[0135]
s3，获取待插装的印制电路板的焊盘孔，得到机器人手部的旋转角度，其中，旋转角度为以坐标原点为旋转中心点，将机器人手部由初始坐标旋转到针脚中心坐标的角度；
[0136]
s4，根据旋转角度、初始坐标和目标坐标，确定机器人手部的偏移量，其中，偏移量为机器人手部移动异型元件进行插装的距离；
[0137]
s5，根据偏移量，校正机器人手部完成对异型元件的插装操作。
[0138]
可选地，本实施例中的具体示例可以参考上述实施例中所描述的示例，本实施例中对此不再赘述。
[0139]
可选地，在本实施例中，上述存储介质可以包括但不限于：u盘、rom、ram、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
[0140]
根据本技术实施例的又一个方面，还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中；计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述任一个实施例中的异型元件的插装方法步骤。
[0141]
上述本技术实施例序号仅仅为了描述，不代表实施例的优劣。
[0142]
上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在上述计算机可读取的存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在存储介质中，包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本技术各个实施例异型元件的插装方法的全部或部分步骤。
[0143]
在本技术的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
[0144]
在本技术所提供的几个实施例中，应该理解到，所揭露的客户端，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
[0145]
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例中所提供的方案的目的。
[0146]
另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0147]
以上所述仅是本技术的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本技术原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本技术的保护范围。