基于边缘特征点集配准的识别定位方法及系统、存储介质与流程

1.本发明涉及表面贴片设备技术领域，具体地涉及一种基于边缘特征点集配准的识别定位方法及系统、存储介质。


背景技术：

2.贴片机作为表面贴装生产的核心单元，其工作过程是利用机械臂拾取各类形状和规格的表面贴装元件。为了消除生产过程中不可避免的机械偏差，依靠视觉纠偏系统确定元件的准确贴装位置。随着贴片机朝着高速、高精度方向的发展，要求视觉纠偏系统具备高识别速度、识别精度达到亚像素级。
3.尽管基于机器视觉的纠偏系统具有非接触、易于实现、定位准确等优点，但是在实际生产应用中，该方法的稳定性和定位精度受图像的质量影响大。当获取到的元件图像亮度不稳定，但采用同一套识别参数进行识别时，提取到的元件特征（边缘轮廓、角点）不稳定，导致产生识别偏差进而影响贴装的准确性和稳定性。
4.基于边缘轮廓拟合方法和基于模板匹配方法是视觉纠偏系统中常用的两种识别定位方法。其中，边缘轮廓拟合方法，需要将元件图像进行二值化处理，当图像亮度不稳定时，采样同样的二值化阈值参数分割出的二值化图像将发生显著变化，提取出的边缘轮廓中出现难以预计的信息丢失、噪声引入，难以准确反映元件的真实边缘轮廓；而模板匹配方法由于不使用二值化阈值，采用模板图像与目标图像子集之间的灰度值相关系数作为评价指标，具备基本的抵抗图像质量变化能力，然而该方法在匹配同时存在平移变、旋转、缩放变换的元件图像时，准确性依赖于搜索步长。另外，模板匹配方法的耗时会因为步长减小，搜索次数呈指数级增加，识别速度大幅降低。
5.综上所述，在元件图像质量存在变化的前提下，难以使用同一套识别参数稳定、高效地完成识别定位要求，以上问题已然成为制约贴装稳定性进一步提高的一个重要因素。


技术实现要素：

6.本发明的目的是为了克服现有技术存在的问题，提供一种基于边缘特征点集配准的识别定位方法及系统、存储介质。
7.为了实现上述目的，本发明第一方面提供一种基于边缘特征点集配准的识别定位方法，包括以下步骤：计算元件灰度图像中各个像素位置的梯度值，从梯度值中筛选出局部极值点作为候选边缘点，根据候选边缘点邻域内灰度分布信息计算出亚像素边缘点的位置和对应的梯度向量；对亚像素边缘点筛选抽稀得到目标特征点集；依据目标特征点集建立元件的形状模板点集；将形状模板点集向目标特征点集对应的梯度向量上投影，采用投影距离的最大相关熵作为评价准则进行配准获得元件的位姿信息。
8.优选地，所述根据候选边缘点邻域内灰度分布信息计算出亚像素边缘点的位置和对应的梯度向量，包括以下步骤：分别计算元件灰度图像中各个像素位置的x和y方向梯度值，x方向梯度值，y方向梯度值；其中，g
x
(row，col)表示位于图像第row行第col列的像素的x方向梯度值，gy(row，col)表示位于图像第row行第col列的像素的y方向梯度值，gray(row 1,col)表示位于图像第row 1行第col列的像素的灰度值，gray(row-1,col)表示位于图像第row-1行第col列的像素的灰度值；在x方向梯度值中筛选出局部极值点作为纵向候选边缘点；在y方向梯度值中筛选出局部极值点作为横向候选边缘点；以候选边缘点为中心确定邻域，采用亚像素边缘线y=
ɑ
x b将领域分为两部分；以候选边缘点邻域内的梯度值确定亚像素边缘线两侧的边界位置，并计算其中一侧边界位置至亚像素边缘线之间的面积s
p
；分别计算两侧边界位置的像素平均值，得到区域灰度值，面积s
p
所在侧的区域灰度值记为a，另一侧的区域灰度值记为b；计算单行像素的灰度值之和sumf，公式如下：，其中，i为单个像素点，h为像素的大小，n为单行像素的个数，m和n分别为像素所在行的边界位置坐标，所述单行像素是指沿所述候选边缘点对应的梯度方向，grad（i）为i的灰度值；根据s
p
和sumf得到亚像素边缘线的参数
ɑ
、b，计算出亚像素边缘点的位置为(row,col b)和对应的梯度向量。
9.本发明第二方面提供一种基于边缘特征点集配准的识别定位系统，包括：亚像素边缘检测模块，用于计算元件灰度图像中各个像素位置的梯度值，从梯度值中筛选出局部极值点作为候选边缘点，根据候选边缘点邻域内灰度分布信息计算出亚像素边缘点的位置和对应的梯度向量；筛选抽稀模块，用于对亚像素边缘点筛选抽稀得到目标特征点集；形状模板点集模块，用于依据目标特征点集建立元件的形状模板点集；配准识别模块，用于将形状模板点集向目标特征点集对应的梯度向量上投影，采用投影距离的最大相关熵进行配准获得元件的位姿信息。
10.本发明第三方面提供一种计算机可读存储介质，包括程序，所述程序能够被处理器执行以实现上述方法的步骤。
11.通过上述技术方案，对边缘点集进行了筛选抽稀，并使用最大相关熵作为评价准则，相比于常用的均方差评价准则，更能够抵抗异常值干扰，迭代计算模板点集与目标特征点集之间投影距离实现配准，获得了亚像素级定位结果。另外，为提高识别速度，采用包含梯度方向的特征点作为目标特征点集，提供了更多的配准信息，经过迭代后，同时获得形状模板点集与目标特征点集之间的平移、旋转、缩放变换信息。因此，本发明提出的元件识别
定位方案具有稳定性好、抗干扰能力强、识别精度高、识别速度快的优点。
附图说明
12.下面结合附图，对本发明的具体实施方式进行详细描述。
13.图1是本发明提出的基于边缘特征点集配准的表面贴装元件识别定位流程示意图；图2是本发明提出的亚像素边缘提取原理示意图；图3是单行像素单元示意图；图4为不同光照亮度下的原始元件图像；图5为二值化阈值为120时的二值图像；图6是不同光照亮度下元件图像的亚像素边缘轮廓；图7是矩形元件边缘轮廓中存在的干扰点和圆角位置示意图；图8是本发明中从元件边缘轮廓中筛选抽稀获得的目标特征点集；图9是本发明中建立的元件形状模板点集；图10是形状模板点集和实际元件边缘之间的差异示意图；图11是本发明提出的目标特征点集配准原理示意图；图12是本发明中目标特征点集配准结果图；图13是本发明中低亮度元件图像特征点集配准过程的迭代次数-误差曲线；图14是本发明中适中亮度元件图像特征点集配准过程的迭代次数-误差曲线；图15是本发明中高亮度元件图像特征点集配准过程的迭代次数-误差曲线；图16是不同光照亮度下元件灰度图像的识别定位结果。
具体实施方式
14.为了进一步说明本发明的特征，下面通过具体的实施方式对本发明的技术方案进行更加详细的说明。但是本发明能够以很多不同于此描述地在其他地方展开实施，本领域技术人员可以在不违背本发明内涵的情况下做类似改进，因此本发明不受下面公开的具体实施的限制。
15.为了能够使用同一套识别参数完成对不同亮度变化元件图像的识别定位，本发明第一方面提出了基于边缘特征点集配准的表面贴装元件识别定位方法，基本思想为：首先对原始图像进行预处理，减弱噪声干扰；然后在元件灰度图中进行亚像素边缘提取，获得元件的亚像素边缘轮廓，以及各个边缘点位置的梯度方向；其次，利用元件的亚像素边缘轮廓信息，筛选抽稀获得元件图像的目标特征点集；再次，根据元件的形状参数与相机标尺（单位像素所表示的实际长度，μm/像素），建立元件的形状模板点集；最后，利用点集配准方法，迭代配准获得元件的位姿信息。基于边缘特征点集配准的识别定位方法，包括以下步骤：s1：元件灰度图像预处理；s2：计算元件灰度图像中各个像素位置的梯度值，从梯度值中筛选出局部极值点作为候选边缘点，根据候选边缘点邻域内灰度分布信息计算出亚像素边缘点的位置和对应的梯度向量；s3：对亚像素边缘点筛选抽稀得到目标特征点集；
s4：依据目标特征点集建立元件的形状模板点集；s5：将形状模板点集向目标特征点集对应的梯度向量上投影，采用投影距离的最大相关熵作为评价准则进行配准获得元件的位姿信息。
16.进一步的，在步骤s1中，考虑到在贴片机获取到的原始图像中会存在难以避免的噪声干扰，如元件表面由于部分氧化出现的斑点和不均匀等，以及为了提高识别效率，对原始图像中感兴趣区域（roi）进行预处理，消除部分干扰，具体为：s11：首先，利用5
×
5的模板对原始的元件灰度图像进行中值滤波处理，消除去图像中的椒盐噪声；s12：然后，利用核尺寸为11
×
11的双边滤波器，减弱噪声的同时，增强图像中的边缘信息，输出滤波增强后的元件灰度图像。
17.经过以上预处理后，原始图像中roi的噪声点将被抑制、消除，同时提高了图像的对比度和增强了边缘。
18.进一步的，在步骤s2中，由于贴片机获取到的元件图像会存在光照亮度变化，或明或暗，若采用同一套识别参数提取这些元件图像的二值化边缘，会造成元件信息丢失或引入大量干扰信息，以及所提取出的二值化边缘仅为像素级精度。因此，直接利用预处理后的roi灰度图像进行亚像素边缘轮廓提取，包括以下步骤：s21：分别计算roi元件灰度图像中各个像素位置x、y方向的梯度值，其中，x方向梯度值为
ꢀꢀꢀꢀꢀ
（1）y方向梯度值为
ꢀꢀꢀꢀꢀꢀ
（2）其中，g
x
(row，col)表示位于图像第row行第col列的像素的x方向梯度值，gy(row，col)表示位于图像第row行第col列的像素的y方向梯度值，gray(row 1,col)表示位于图像第row 1行第col列的像素的灰度值，gray(row-1,col)表示位于图像第row-1行第col列的像素的灰度值；s22：在x方向梯度值中筛选出局部极值点作为纵向候选边缘点；在y方向梯度值中筛选出局部极值点作为横向候选边缘点；s23：为获得亚像素级精度，根据候选边缘点邻域内灰度分布信息，计算出亚像素边缘点的位置和对应的梯度向量。
19.进一步地，不同于常见的多项式拟合法、zernike矩算子检测法，步骤s23中所述计算亚像素边缘点的位置及对应梯度方向的方法是依据局部灰度分布信息确定偏移量和梯度方向，可以快速地计算偏移量值。步骤s23包括以下步骤：s231：以候选边缘点为中心确定邻域，采用亚像素边缘线y=αx b将领域分为两部分；s232：以候选边缘点邻域内的梯度值确定亚像素边缘线两侧的边界位置，并计算其中一侧边界位置至亚像素边缘线之间的面积s
p
；s233：分别计算两侧边界位置的像素平均值，得到区域灰度值，面积s
p
所在侧的区域灰度值记为a，另一侧的区域灰度值记为b；
s234：计算单行像素的灰度值之和sumf，公式如下：，其中，i为单个像素点，h为像素的大小，n为单行像素的个数，m和n分别为像素所在行的边界位置坐标，所述单行像素是指沿所述候选边缘点对应的梯度方向，grad（i）为i的灰度值；s235：根据s
p
和sumf得到亚像素边缘线的参数
ɑ
、b，计算出亚像素边缘点的位置为(row,col b)和对应的梯度向量。示例性地，如图2所示，在某纵向候选边缘点(row,col)及其3
×
9邻域中，候选边缘点位于中央，亚像素边缘线y=
ɑ
x b将该区域分为左右两部分，三行分别标记为u、m、d；由u、m、d行的中心位置向两侧搜索边界位置，比较搜索方向上相邻像素点x方向梯度值的大小，标记各行的左侧边界坐标分别为u1、m1、d1，右侧边界坐标分别为u2、m2、d2；分别将两侧边界像素取平均，得到左侧区域灰度值，右侧区域灰度值；计算u、m、d各行中位于边缘线左侧的面积，记作su、sm、sd，值分别为
ꢀꢀꢀꢀ
（3）其中，为像素的大小，本发明实施例中h=1，s
p = s
u s
m sd。
20.如图3所示，假设图像的灰度值在边缘处分布不连续，而在其余位置均连续分布，对于单行像素单元，其灰度值之和可计算为
ꢀꢀꢀꢀꢀ
（4）其中，a、b分别为边缘线两侧的灰度值；s
p
——边缘线左侧的面积。
21.因此，联立式(3)、(4)求出亚像素边缘线的参数
ɑ
、b；计算亚像素边缘点位置为(row,col b)，梯度方向。
22.如图4所示，图4中的一组图片是贴片机采集到的一组不同光照亮度下元件图像，若采用同一套识别参数提取该组图像的二值化边缘，在亮度低的图像中会丢失元件信息、而亮度高的图像中会出现其他干扰信息，进而导致提取到的元件特征（边缘轮廓、角点）不稳定，识别不准确，如图5所示。
23.同样，采用同一套识别参数，使用步骤s2中的方法提取图4中元件图像的亚像素边缘轮廓，结果如图6所示，在不同亮度变化的元件图像中均提取出了元件的边缘轮廓，且达到了亚像素精度，同时包含了边缘轮廓的梯度方向信息。
24.进一步的，在步骤s3中，考虑到在步骤s2中提取到的元件亚像素边缘轮廓中，往往会存在冗余的干扰点、离群点，以及矩形元件边缘会存在圆角，如图7所示。为了提高识别稳定性和识别精度，对亚像素边缘轮廓点集进行筛选抽稀，基本思想是：首先利用局部异常因子算法计算边缘点的邻域密度，根据密度阈值剔除离群点；其次，评估边缘点与k个近邻点之间的梯度方向一致性，剔除点集中的干扰点和矩形中圆角边缘点；最后，对边缘点集进行均匀抽样，得到经过筛选抽稀的目标特征点集。
25.具体包括以下过程：s31：利用局部异常因子算法计算各个亚像素边缘点在半径为r的邻域中的点密度d，若点密度d小于阈值d
th
，则认为该点为离群点，将其从亚像素边缘点集中剔除；s32：利用k最近邻算法计算各个亚像素边缘点在点集中的k个最近邻点，评估这k 1个亚像素边缘点的梯度方向一致性。当这k 1个亚像素边缘点的梯度方向差值时，则认为该亚像素边缘点为干扰点，将其从亚像素边缘点集中剔除，其中，表示第i个点的梯度向量的方向角，表示第i 1个点的梯度向量的方向角，表示方向阈值；s33：在剩余的亚像素边缘点集中进行均匀采样，等间隔抽取n_target个边缘点，并提取出亚像素边缘点对应的梯度向量，与亚像素边缘点坐标共同组成特征点，最终得到筛选抽稀元件目标特征点集。
26.采用本发明提出的筛选抽稀元件的边缘轮廓点集得到的目标特征点集如图8所示，其中计算参数设置为邻域半径r=3、密度阈值d
th
=2.0、最近邻数目k=5、方向阈值为，以及点集数目n_target=100， 从图中可以看出，该方法能有效剔除异常点。
27.进一步的，在步骤s4中，为了从元件的边缘轮廓中得到位姿信息，边缘拟合类方法使用边缘点位置信息拟合外接矩形或者边缘直线，容易受到局部异常值的干扰，稳定性差。因此，本发明基于模板匹配的思想，通过点集配准获得元件的位姿信息，首先需要利用元件的形状参数建立模板点集。
28.步骤s4具体的实现步骤如下：s41：由于元件的形状参数中单位为毫米，需要将其通过相机标尺转换为像素单位，转换后的长边记为w、宽边记为h；s42：设定形状模板点集数目为num，按比例分配给各条边，向w分配个点，向h分配个点，其中floor表示向下取整；s43：由于矩形元件的拐角为圆角，圆角位置的实际半径难以确定，为减少拐角位置的干扰，在拐角位置设置了空余系数s，在w的两侧留出s
×
w的空余，以及在h的两侧留出s
×
h的空余。最后等间隔生成各条边上的点，建立元件的形状模板点集。
29.进一步优选地，空余系数s的设置范围与边长有关，s的取值范围为：10/h≤s≤30/h，以保证既要消除圆角的干扰，同时避免模板点集的失真。
30.示例性地，本发明按照元件的形状参数和相机标尺，采用num=100，s=0.05所构建的模板点集如图9所示。
31.进一步的，在步骤s5中，为获得元件的偏转角度和x、y方向偏移量，利用迭代配准
方法对步骤s3中的目标特征点集和步骤s4中的形状模板点集进行配准。另外，由于元件的标称尺寸与实际尺寸之间存在一定的偏差，如图10所示，因此，需要同时配准获得目标特征点集和形状模板点集之间的缩放系数。基本思想是：将形状模板点集和目标特征点集之间的配准问题变为寻找一个刚性变换t，使得配准后的对应点投影距离之和最小化，如图11所示，在确定形状模板点集与目标特征点集的对应关系后，计算出各个对应点对的投影距离为dt
i-2
、dt
i-1
、dti、dt
i 1
、dt
i 2
，将投影距离之和作为迭代配准误差，即目标函数如下：
ꢀꢀꢀꢀ
（5）其中，t表示刚性变换，包括旋转变换、缩放变换或平移变换，argmin表示求目标函数的最小值；i表示 形状模板点集中点的计数编号；si表示形状模板点集中第i个点；ns表示形状模板点集中点的个数；nd表示目标特征点集中特征点的个；c(i)表示用于确定模板点i在目标特征点集中对应点的关系函数；表示目标特征点集中对应第i个模板点的特征点的梯度向量，d
c(i)
表示目标特征点集中与模板点集第i个点相对应的特征点。
32.ꢀꢀꢀꢀꢀ
（6）其中，其中，s表示缩放变换矩阵；r表示旋转变换矩阵；t表示平移变换矩阵；β
x
为横向缩放系数；βy纵向缩放系数；旋转角度；s
ix
表示第i个模板点的x坐标值；s
iy
表示第i个模板点的y坐标值；t
x
横向位移；ty纵向位移。
33.由于在目标特征点集中仍不可避免地会存在少量干扰点，使用式（5）中的均方误差作为评价准则难以抵抗干扰点的影响，因此，本发明中引入最大相关熵准则，进一步提高识别稳定性，此时的目标函数为
ꢀꢀꢀꢀ
（7）其中，argmax表示求目标函数的最大值；表示高斯核因子，根据目标特征点集的平均密度meandist设置，采用；c(i)表示用于确定点i在目标特征点集中对应点的关系函数，本发明中采用k-d树进行最近邻搜索确定。
34.利用拉格朗日乘子法求解式(7)中的优化问题，迭代求解s、r、t的最优解，直到达到最大迭代次数或者配准误差满足要求。
35.最终的点集配准结果如图12所示，图中圆圈组成的点集为模板点集，实心带箭头点集为目标特征点集，以及不同亮度元件图像的配准迭代误差曲线如图13-图15所示，依次记录了低亮度、适中亮度、高亮度元件图像从配准开始到迭代停止过程中，随迭代次数增加，配准误差的变化情况，横轴为迭代次数，纵轴为配准误差，迭代次数越少，则表明该方法的识别速度越快。
36.进一步地，将配准结果转换为识别定位结果，这里需要由旋转矩阵转换为偏转角度，识别定位结果如图16所示，图16中矩形的图框即为定位结果。
37.基于同一发明构思，本发明第二方面提供一种与该基于边缘特征点集配准的识别定位方法对应的基于边缘特征点集配准的识别定位系统，由于本发明实施例中的系统解决问题的原理与本发明实施例的基于边缘特征点集配准的识别定位方法相似，因此系统的实施可以参见方法的实施，重复之处不再赘述，所述系统包括：亚像素边缘检测模块，用于计算元件灰度图像中各个像素位置的梯度值，从梯度值中筛选出局部极值点作为候选边缘点，根据候选边缘点邻域内灰度分布信息计算出亚像素边缘点的位置和对应的梯度向量；筛选抽稀模块，用于对亚像素边缘点筛选抽稀得到目标特征点集；形状模板点集模块，用于依据目标特征点集建立元件的形状模板点集；配准识别模块，用于将形状模板点集向目标特征点集对应的梯度向量上投影，采用投影距离的最大相关熵进行配准获得元件的位姿信息。
38.基于同一发明构思，本发明第三方面提供一种计算机可读存储介质，包括程序，所述程序能够被处理器执行以实现上述基于边缘特征点集配准的识别定位方法的步骤。
39.综上所述，本发明提出了一种基于边缘特征点集配准的表面贴装元件识别定位方法，针对识别存在亮度变化的元件图像时，难以稳定地提取边缘特征和稳健地完成亚像素级识别定位的问题，根据元件roi图像的灰度分布信息在不同亮度变化图像中均有效地提取出了元件的亚像素边缘，未丢失元件边缘信息。为提高识别稳定性，对边缘点集进行了筛选抽稀，并使用最大相关熵作为评价准则，相比于常用的均方差评价准则，更能够抵抗异常值干扰，迭代计算模板点集与目标特征点集之间投影距离实现配准，获得了亚像素级定位结果。另外，为提高识别速度，采用包含梯度方向的特征点作为目标特征点集，提供了更多的配准信息，加快了迭代收敛速度。经过识别测试200张元件图像样本，本发明的整体识别耗时为7.63ms。
40.因此，本发明提出的元件识别定位方法具有识别精度高、识别速度快、稳定性好、抗干扰能力强的优点。
41.以上所述仅为本发明的较佳实施例，并不用以限制本发明，对于本邻域的普通技术人员而言，如qfp（方型扁平式封装）、plcc（特殊引脚芯片封装）等元件均可采用本文方法进行元件识别定位。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。