毛刺检测方法、设备及存储介质与流程

1.本技术涉及检测技术领域，具体涉及一种毛刺检测方法、设备及存储介质。


背景技术：

2.在机械加工技术领域中，需要在金属工件中间进行打孔加工。然而由于刀口老化或者切割力度等原因，在金属孔边缘经常带有毛刺。如果不处理这些毛刺，将影响零件的装备、使用性能和工作寿命等，因此在金属工件加工后，需要进行严格的打孔质量检测和毛刺去除操作。
3.现有技术对金属工件打孔处的检测方法中，包括采用人工方式对金属打孔处进行质量检验，或者通过昂贵的3d高精度传感器，对金属表面的高度信息进行检测，从而判断是否存在毛刺异常，也有厂家采用2d图像视觉的方法检测打孔处的缺陷，然而这些方法仅能判断是否存在毛刺缺陷，对于毛刺的高度没有考虑，由于企业成本限制，摄像头的安装要求无法严格规范，从而无法根据毛刺的高度对毛刺的严重程度和等级进行评估。
4.现有技术在由于检测成本高，检测装置的安装要求高，导致无法根据毛刺的高度对毛刺的严重程度和等级进行评估方面仍有所欠缺。


技术实现要素：

5.本技术提供一种毛刺检测方法、设备及存储介质，用以解决由于检测成本高，检测装置的安装要求高，导致无法根据毛刺的高度对毛刺的严重程度和等级进行评估方面仍有所欠缺的问题。
6.第一方面，本技术提供一种毛刺检测方法，包括：
7.获取相机拍摄的工件的拍摄图像，根据所述拍摄图像获取目标矩形区域，其中，所述相机垂直放置在所述工件的上方，所述工件的上方还设置有低角度光源，所述光源用于照射工件打孔边缘，所述目标矩形区域包括打孔图像；
8.根据所述目标矩形区域获取分割区域，并获取所述分割区域的像素个数，所述分割区域为目标矩形区域中的高亮、不规则连通区域；
9.若所述像素个数大于第一阈值，则提取所述分割区域中的边缘点集合，并根据所述边缘点集合获取分割区域中的边缘直线方程，根据所述边缘直线方程和所述分割区域中的上边缘点获取毛刺高度线段；
10.通过标定板建立所述相机与所述工件打孔表面的物理空间坐标关系，根据所述毛刺高度线段和所述物理空间坐标关系获取毛刺实际高度，若所述毛刺实际高度大于第二阈值，则确认当前毛刺的等级为不合格，否则为合格。
11.在一种可能的设计中，所述根据所述目标矩形区域获取分割区域，包括：在所述目标矩形区域内，通过分割网络选择高亮且不规则的连通区域，并将选择的所述连通区域作为分割区域，其中所述连通区域的面积与毛刺的高度成正比关系。
12.在一种可能的设计中，所述提取所述分割区域中的边缘点集合，包括：在所述分割
区域中建立图像坐标关系，并提取所述分割区域中边缘轮廓所在点的坐标集合，并对所述边缘轮廓所在点的坐标集合按照从下往上、从上往下、从左至右、从右至左依次进行遍历，得到下边缘点集、上边缘点集、左边缘点集和右边缘点集，根据所述下边缘点集、上边缘点集、左边缘点集和右边缘点集，得到所述边缘点集合。
13.在一种可能的设计中，所述根据所述下边缘点集、上边缘点集、左边缘点集和右边缘点集，得到所述边缘点集合，包括：
14.获取所述下边缘点集与所述左边缘点集的第一交集，若所述第一交集中边缘点的数量大于或等于第三阈值，则将所述第一交集作为新的下边缘点集，否则将所述第一交集作为新的左边缘点集；
15.获取所述上边缘点集与所述左边缘点集的第二交集，若所述第二交集中边缘点的数量大于或等于第三阈值，则将所述第二交集作为新的上边缘点集，否则将所述第二交集作为新的左边缘点集；
16.获取所述上边缘点集与所述右边缘点集的第三交集，若所述第三交集中边缘点的数量大于或等于第三阈值，则将所述第三交集作为新的上边缘点集，否则将所述第三交集作为新的右边缘点集；
17.获取所述下边缘点集与所述右边缘点集的第四交集，若所述第四交集中边缘点的数量大于或等于第三阈值，则将所述第四交集作为新的下边缘点集，否则将所述第四交集作为新的右边缘点集；
18.根据新的边缘点集和未发生变化的边缘点集，获取所述边缘点集合。
19.在一种可能的设计中，所述根据所述边缘点集合获取分割区域中的边缘直线方程，包括：
20.根据所述边缘点集合中的下边缘点集获取下边缘直线方程，使得所述下边缘直线方程所指示的直线与所述下边缘点集中多个下边缘点之间的距离最小；
21.根据所述边缘点集合中的左边缘点集获取左边缘直线方程，使得所述左边缘直线方程所指示的直线与所述左边缘点集中多个左边缘点之间的距离最小；
22.根据所述边缘点集合中的右边缘点集获取右边缘直线方程，使得所述右边缘直线方程所指示的直线与所述右边缘点集中多个右边缘点之间的距离最小。
23.在一种可能的设计中，在所述根据所述边缘直线方程和所述分割区域中的上边缘点获取毛刺高度线段之前，还包括：确认所述下边缘直线方程所指示的直线是否经过光心，其中所述光心为所述相机光轴上的点；
24.若所述下边缘直线方程所指示的直线经过所述光心，则向用户端发送提示信息，以提醒用户对所述工件进行位置调整；
25.若所述下边缘直线方程所指示的直线不经过所述光心，则确定执行根据所述边缘直线方程和所述分割区域中的上边缘点获取毛刺高度线段的步骤。
26.在一种可能的设计中，所述根据所述边缘直线方程和所述分割区域中的上边缘点获取毛刺高度线段，包括：将所述边缘直线方程中下边缘直线方程所指示的直线向上平移，获取平移后的直线，使得边缘点集合中目标上边缘点经过所述平移后的直线，其中所述目标上边缘点与所述下边缘直线方程所指示的直线的距离最短，根据所述平移后的直线获取对应的平移直线方程，根据所述平移直线方程、所述边缘直线方程和所述上边缘点，获取毛
刺高度线段。
27.在一种可能的设计中，所述根据所述平移直线方程、所述边缘直线方程和所述上边缘点，获取毛刺高度线段，包括：
28.获取所述平移直线方程指示的直线以及所述边缘直线方程指示的各个直线之间相交形成的顶点，其中所述顶点包括第一交点、第二交点、第三交点和第四交点；
29.获取由所述第一交点和第二交点构成的第一线段，以及由所述第三交点和第四交点构成的第二线段，其中，所述第一线段和所述第二线段与所述平移直线方程所指示的直线平行，所述第二线段为远离所述上边缘点的线段；
30.对所述第一线段和第二线段分别进行等分，并获取各自线段上的多个等分点，其中所述第一线段的等分点数量与所述第二线段的等分点数量相同，并将所述第一线段的多个等分点选择为第一等分点集，将所述第二线段的多个等分点选择为第二等分点集；
31.根据所述第一等分点集、所述第二等分点集和所述上边缘点，获取毛刺高度线段。
32.在一种可能的设计中，所述根据所述第一等分点集、所述第二等分点集和所述上边缘点，获取毛刺高度线段，包括：根据所述第一等分点集中的等分点和第二等分点集中的等分点获取多个交叉直线方程，其中所述交叉直线方程的数量与所述等分点的数量相同；
33.获取多个所述交叉直线方程指示的直线与所述分割区域中的上边缘点集相交的多个交点，并将所述多个交点选择为第三等分点集，所述交点为所述上边缘点集中最邻近所述交叉直线方程指示的直线的上边缘点，其中所述多个交点的数量与交叉直线方程的数量相同；
34.获取所述第二等分点集中等分点与所述第三等分点集中对应的交点构成的多个线段，将所述线段作为所述毛刺高度线段，获取多个所述毛刺高度线段，并记录构成所述毛刺高度线段的所述第二等分点集中等分点和所述第三等分点集中对应的交点的坐标。
35.在一种可能的设计中，所述根据所述毛刺高度线段和所述物理空间坐标关系获取毛刺实际高度，包括：
36.通过所述物理空间坐标和所述毛刺高度线段的图像坐标的对应关系获取毛刺下边缘空间坐标，所述毛刺下边缘空间坐标包括毛刺下边缘空间横坐标和毛刺下边缘空间纵坐标，所述对应关系通过下列公式实现：
37.λ[mi1.x,mi1.y,1]
t
＝q[xi,yi,0,1]；
[0038]
其中，λ为预设常数，q为常数矩阵，mi1.x为构成所述毛刺高度线段的第二等分点集中等分点的横坐标，mi1.y为构成所述毛刺高度线段的第二等分点集中等分点的纵坐标，xi为毛刺下边缘空间横坐标，yi为毛刺下边缘空间纵坐标；
[0039]
在获取毛刺下边缘空间坐标后，并根据所述毛刺下边缘空间坐标，通过下列公式获取毛刺实际高度：
[0040]
λ[mi2.x,mi2.y,1]
t
＝q[xi,yi,zi,1]
t
；
[0041]
其中，λ为预设常数，q为常数矩阵，mi2.x为构成所述毛刺高度线段的第三等分点集中等分点的横坐标，mi2.y为构成所述毛刺高度线段的第三等分点集中等分点的纵坐标，xi为毛刺下边缘空间横坐标，yi为毛刺下边缘空间纵坐标，zi为毛刺实际高度。
[0042]
第二方面，本技术提供一种毛刺检测处理设备，包括：
[0043]
获取模块，用于获取相机拍摄的工件的拍摄图像，根据所述拍摄图像获取目标矩
形区域，其中，所述相机垂直放置在所述工件的上方，所述工件的上方还设置有低角度光源，所述光源用于照射工件打孔边缘，所述目标矩形区域包括打孔图像；
[0044]
第一处理模块，用于根据所述目标矩形区域获取分割区域，并获取所述分割区域的像素个数，所述分割区域为目标矩形区域中的高亮、不规则连通区域；
[0045]
第二处理模块，用于若所述像素个数大于第一阈值，则提取所述分割区域中的边缘点集合，并根据所述边缘点集合获取分割区域中的边缘直线方程，根据所述边缘直线方程和所述分割区域中的上边缘点获取毛刺高度线段；
[0046]
执行模块，用于通过标定板建立所述相机与所述工件打孔表面的物理空间坐标关系，根据所述毛刺高度线段和所述物理空间坐标关系获取毛刺实际高度，若所述毛刺实际高度大于第二阈值，则确认当前毛刺的等级为不合格，否则为合格。
[0047]
第三方面，本技术提供一种电子设备，包括：处理器，以及与所述处理器通信连接的存储器；
[0048]
所述存储器存储计算机执行指令；
[0049]
所述处理器执行所述存储器存储的计算机执行指令，以实现毛刺检测处理方法。
[0050]
第四方面，本技术提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现毛刺检测处理方法。
[0051]
本技术提供的毛刺检测方法、设备及存储介质，通过采用设置于金属工件上方的单目摄像头即相机和低角度光源，去拍摄金属件打孔的位置，获取打孔图像，避免了采用成本高昂的高精度传感器，和对安装精度较高的光学显微镜，并将拍摄的打孔图像送入训练好分割模型中，检测是否存在毛刺，当检测到存在毛刺后，根据毛刺的边缘信息提取毛刺高度数值，并将毛刺高度数值与等级进行对应，从而实现金属件打孔金属毛刺的自动化检测操作，使得企业在降低了检测成本和检测装置的安装要求的同时，能够根据毛刺的高度对毛刺的严重程度和等级进行评估，避免了金属毛刺对装备的使用性能和工作寿命的影响。
附图说明
[0052]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0053]
图1为本技术实施例提供的毛刺检测方法的流程示意图一；
[0054]
图2为本技术实施例提供的毛刺检测方法的流程示意图二；
[0055]
图3为本技术实施例提供的采集系统构成图；
[0056]
图4为本技术实施例提供的图像分割图；
[0057]
图5为本技术实施例提供的图像遍历方向图；
[0058]
图6为本技术实施例提供的遍历提取图；
[0059]
图7为本技术实施例提供的下边缘方程示意图；
[0060]
图8为本技术实施例提供的交点示意图；
[0061]
图9为本技术实施例提供的交叉直线示意图；
[0062]
图10为本技术实施例提供的毛刺高度线段示意图；
[0063]
图11为本技术实施例提供的毛刺检测处理设备的结构示意图；
[0064]
图12为本技术实施例提供的电子设备的结构示意图。
具体实施方式
[0065]
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本技术相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本技术的一些方面相一致的装置和方法的例子，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0066]
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。
[0067]
钻孔是机械加工中重要的方法之一，广泛的存在于高端装备制造当中，同时由于金属具有较好的延展性，以及加工刀具的老化或者切割力度等原因，在对金属工件进行的钻削过程中极易在出口或者入口处形成毛刺，这些毛刺将会引起零件边缘的尺寸误差、增加装配的复杂性以及造成装配位置应力计中引发失效，因此金属毛刺已经成为影响装备的使用性能和工作寿命的重要因素，需要对加工后的工件进行严格的打孔质量检测，以减少产生的金属毛刺对装备的影响。
[0068]
现有技术中对金属毛刺检测的方法中，包括采用人工方式去检测金属打孔加工处的毛刺如挂丝法、放大法等，但是人工方式对于不明显的缺陷如毛刺高度小，则需要工人用手去反复触摸，以确定毛刺是否存在，这样就需要生产线暂停，对于生产效率和检测效率都很低，现有技术还包括通过高精度传感器和光学显微镜为主的精确测量方法，并基于机器视觉的方法检测金属件打孔处毛刺，采用多角度多个光源同时打光，并用图像算法检测是否存在缺陷，虽然采用传感器和光学显微镜为主的精确测量方法可以精确检测到毛刺的形状、高度等相关参数，但测量速度较慢，尤其对大型的工件，需要消耗大量时间测量，同时由于企业的生产成本限制，很难满足高精度传感器的高昂成本和对光学显微镜的高精度安装要求。
[0069]
本技术提供了一种毛刺检测方法，通过采用设置于金属工件上方的单目摄像头即相机和低角度光源，去拍摄金属件打孔的位置，获取打孔图像，避免了采用成本高昂的高精度传感器，以及对安装精度较高的光学显微镜，并将拍摄的打孔图像送入训练好分割模型中，检测是否存在毛刺，当检测到存在毛刺后，根据毛刺的边缘信息提取毛刺高度数值，并将毛刺高度数值与等级进行对应，从而实现金属件打孔金属毛刺的自动化检测操作，使得企业在降低了检测成本和检测装置的安装要求的同时，能够根据毛刺的高度对毛刺的严重程度和等级进行评估，避免了金属毛刺对装备的使用性能和工作寿命的影响。
[0070]
下面采用具体地实施例对本技术的技术方案以及本技术的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本技术的实施例进行描述。
[0071]
实施例一
[0072]
图1为本技术实施例提供的毛刺检测方法流程示意图一，图3为采集系统构成图，图4为图像分割图。结合图1、图3和图4所示，该方法包括：
[0073]
s101、获取相机拍摄的工件的拍摄图像，根据所述拍摄图像获取目标矩形区域，其中，所述相机垂直放置在所述工件的上方，所述工件的上方还设置有低角度光源，所述光源用于照射工件打孔边缘，所述目标矩形区域包括打孔图像；
[0074]
具体来说，如图3所示，在将金属工件钻孔加工后，通过控制低角度的光源，将光源的光照射在金属工件打孔边缘处，使得光源直接照射在带有毛刺的金属工件打孔处，在带有毛刺的一侧形成高亮区域，而在背离毛刺的另一侧形成较暗的区域，此时易于区分毛刺区域，并通过垂直放置的单目摄像头即相机获取拍摄图像，并通过图像目标检测网络如yolo(you only look once)，fast-rcnn(convolutional neural networks，卷积神经网络)等网络对拍摄图像进行检测，获取孔所在的目标矩形区域，从而避免了背景物体成像对后续分割提取的干扰。
[0075]
s102、根据所述目标矩形区域获取分割区域，并获取所述分割区域的像素个数，所述分割区域为目标矩形区域中的高亮、不规则连通区域；
[0076]
具体来说，如图4所示，在通过图像目标检测网络获取孔所在的目标矩形区域后，在获取的目标矩形区域内，通过分割网络如segformer、segnet获取目标矩形区域中高亮、不规则连通区域，亦即毛刺由于垂直于表面部分的反光成像的区域，将获取的高亮、不规则连通区域作为分割区域，并获取分割区域中的像素个数。
[0077]
s103、若所述像素个数大于第一阈值，则提取所述分割区域中的边缘点集合，并根据所述边缘点集合获取分割区域中的边缘直线方程，根据所述边缘直线方程和所述分割区域中的上边缘点获取毛刺高度线段。
[0078]
具体来说，在通过分割网络获取分割区域，并获取分割区域中像素个数后，当检测到获取的像素个数大于第一阈值时，则确认当前的金属工件打孔处存在毛刺，需要进一步的获取毛刺高度，提取分割区域中边缘轮廓点的坐标集合，并对边缘轮廓点分别从四个方向上进行遍历，从而获取不同边缘区域的边缘点集合，根据不同边缘区域的边缘点集合获取与各自边缘区域对应的边缘直线方程，并根据其中下边缘区域对应的下边缘直线方程提取出平移后直线方程，并基于下边缘直线方程、平移后直线方程和上边缘区域的上边缘点集合获取毛刺高度线段。
[0079]
s104、通过标定板建立所述相机与所述工件打孔表面的物理空间坐标关系，根据所述毛刺高度线段和所述物理空间坐标关系获取毛刺实际高度，若所述毛刺实际高度大于第二阈值，则确认当前毛刺的等级为不合格，否则为合格。
[0080]
具体来说，在图像中获取反映毛刺高度的毛刺高度线段后，建立相机与金属工件打孔表面的物理空间坐标关系，并通过图像坐标和物理空间坐标的预设对应关系，将毛刺高度线段中两端点的图像坐标带入预设对应关系中，获取对应的毛刺实际高度，并根据毛刺实际高度获取毛刺的等级，以实现对金属工件打孔缺陷的自动化检测。
[0081]
本技术提供了一种毛刺检测方法，通过采用设置于金属工件上方的单目摄像头即相机和低角度光源，去拍摄金属件打孔的位置，获取打孔图像，避免了采用成本高昂的高精度传感器，和对安装精度较高的光学显微镜，并将拍摄的打孔图像送入训练好分割模型中，
检测是否存在毛刺，当检测到存在毛刺后，根据毛刺的边缘信息提取毛刺高度数值，并将毛刺高度数值与等级进行对应，从而实现金属件打孔金属毛刺的自动化检测操作，使得企业在降低了检测成本和检测装置的安装要求的同时，能够根据毛刺的高度对毛刺的严重程度和等级进行评估，避免了金属毛刺对装备的使用性能和工作寿命的影响。
[0082]
下面采用一个具体的实施例，对本技术的毛刺检测方法进行详细说明。
[0083]
实施例二
[0084]
图2为本技术实施例提供的毛刺检测方法流程示意图二，图5为图像遍历方向图，图6为遍历提取图，图7为下边缘方程示意图，图8为交点示意图，图9为交叉直线示意图，图10为毛刺高度线段示意图。如图2所示，所述方法包括：
[0085]
s201、获取相机拍摄的工件的拍摄图像，根据所述拍摄图像获取目标矩形区域；
[0086]
具体来说，步骤s201与步骤s101的实现方式类似，本实施例此处不做赘述。
[0087]
s202、在所述目标矩形区域内，通过分割网络选择高亮且不规则的连通区域，并将选择的所述连通区域作为分割区域；
[0088]
具体来说，由于毛刺垂直于金属工件打孔表面，使得低角度光源的光照射在毛刺上形成反射，在图像上表现为高亮区域，在通过图像目标检测网络获取孔所在的目标矩形区域后，将通过分割网络获取的高亮、不规则连通区域作为分割区域，当确认存在毛刺时，此时毛刺的高度越大，分割网络获取的高亮、不规则连通区域也就越大，亦即连通区域的面积与毛刺的高度成正比关系。
[0089]
s203、获取所述分割区域的像素个数；
[0090]
具体来说，由于毛刺在图像上表现为高亮、不规则区域，在通过分割网络获取分割区域后，对分割区域中的像素个数进行统计，分割区域中显示高亮的像素用于指示识别反射光源的存在，通过对不规则区域中显示高亮像素的个数进行统计，获取反射光源的存在的大小，当显示高亮像素的个数大于第一阈值时，即分割区域的像素个数大于第一阈值时，则认为当前金属工件打孔处存在毛刺，当显示高亮像素的个数不大于第一阈值时，即分割区域的像素个数不大于第一阈值时，认为当前金属工件打孔处不存在毛刺，并对下一个工件的打孔边缘进行识别，直至获取的像素个数大于第一阈值。
[0091]
s204、若所述像素个数大于第一阈值，在所述分割区域中建立图像坐标关系，并提取所述分割区域中边缘轮廓所在点的坐标集合；
[0092]
具体来说，当显示高亮像素的个数大于第一阈值时，亦即分割区域的像素个数大于第一阈值时，在分割区域中建立图像坐标关系，并记录分割区域中显示高亮像素的图像坐标，作为毛刺区域的点集合，并在毛刺区域的点集合中选择靠近毛刺边缘的点作为边缘轮廓所在点，并记录边缘轮廓所在点的坐标，从而获取分割区域中边缘轮廓所在点的坐标集合。
[0093]
s205、对所述边缘轮廓所在点的坐标集合按照从下往上、从上往下、从左至右、从右至左依次进行遍历，得到下边缘点集、上边缘点集、左边缘点集和右边缘点集；
[0094]
具体来说，如图5所示，在分割区域中建立图像坐标关系，并在获取分割区域中边缘轮廓所在点的坐标集合后，从不同的方向对分割区域中边缘轮廓所在点进行遍历，当按照从下往上对边缘轮廓所在点进行遍历时，将检测到第一预设数量的边缘点作为下边缘点，并将检测到的下边缘点的坐标集合作为下边缘点集，按照从上往下遍历，将检测到第二
预设数量的边缘点作为上边缘点，并将检测到的上边缘点的坐标集合作为上边缘点集，按照从左往右遍历，将检测到第三预设数量的边缘点作为左边缘点，并将检测到的左边缘点的坐标集合作为左边缘点集，按照从右往左遍历，将检测到第四预设数量的边缘点作为右边缘点，并将检测到的右边缘点的坐标集合作为右边缘点集。
[0095]
s206、根据所述下边缘点集、上边缘点集、左边缘点集和右边缘点集，得到所述边缘点集合；
[0096]
具体来说，如图6所示，当毛刺方向与图像横坐标存在一定角度时，可能会使得不同方向采集的边缘区域产生重叠如下边缘点集和左边缘点集，从而对边缘点重复遍历，当对边缘轮廓所在点的坐标集合依次进行遍历后，为避免边缘点重复遍历，使得边缘点在空间上都是唯一的，还需要通过下边缘点集、上边缘点集、左边缘点集和右边缘点集的相互交集进一步区分，并根据相互交集中边缘点的个数如下边缘点集和左边缘点集的交集中边缘点的个数和预设值h进行确认，边缘点用于指示边缘轮廓；
[0097]
进一步的，获取下边缘点集与左边缘点集的第一交集，若第一交集中边缘点的数量大于或等于第三阈值，则将第一交集作为新的下边缘点集，否则将第一交集作为新的左边缘点集，表达式如下：
[0098]
dt1＝d1∩d3，if dt1≥h,d1＝dt1,else d3＝dt1；
[0099]
其中∩为交集操作符号，dt1为第一交集，d1为下边缘点集，d3左边缘点集；
[0100]
进一步的，获取上边缘点集与左边缘点集的第二交集，若第二交集中边缘点的数量大于或等于第三阈值，则将第二交集作为新的上边缘点集，否则将第二交集作为新的左边缘点集，表达式如下：
[0101]
dt2＝d2∩d3，if dt2≥h,d1＝dt2,else d3＝dt2；
[0102]
其中∩为交集操作符号，dt2为第二交集，d2为上边缘点集，d3左边缘点集；
[0103]
进一步的，获取上边缘点集与右边缘点集的第三交集，若第三交集中边缘点的数量大于或等于第三阈值，则将第三交集作为新的上边缘点集，否则将第三交集作为新的右边缘点集，表达式如下：
[0104]
dt3＝d2∩d4，if dt3≥h,d2＝dt3,else d4＝dt3；
[0105]
其中∩为交集操作符号，dt3为第三交集，d2为上边缘点集，d4为右边缘点集；
[0106]
进一步的，获取下边缘点集与右边缘点集的第四交集，若第四交集中边缘点的数量大于或等于第三阈值，则将第四交集作为新的上边缘点集，否则将第四交集作为新的右边缘点集，表达式如下：
[0107]
dt4＝d1∩d4，if dt4≥h,d1＝dt4,else d4＝dt4；
[0108]
其中∩为交集操作符号，dt4为第四交集，d1为下边缘点集，d4为右边缘点集。
[0109]
s207、根据所述边缘点集合获取分割区域中的边缘直线方程；
[0110]
具体来说，在获取了边缘区域的边缘点集合后，基于各自边缘轮廓对应的边缘点集，通过最小二乘法获取左边缘轮廓、下边缘轮廓和右边缘轮廓对应的直线方程；
[0111]
进一步的，如图7所示，根据毛刺区域边缘点集合中的下边缘点集获取下边缘直线方程，使得下边缘直线方程所指示的直线与下边缘点集中多个下边缘点之间的距离最小，其中下边缘直线方程表示如下：
[0112]
y＝k1x b1；
[0113]
进一步的，根据边缘点集合中的左边缘点集获取左边缘直线方程，使得左边缘直线方程所指示的直线与左边缘点集中多个左边缘点之间的距离最小，其中下边缘直线方程表示如下：
[0114]
y＝k3x b3；
[0115]
进一步的，根据边缘点集合中的右边缘点集获取右边缘直线方程，使得右边缘直线方程所指示的直线与右边缘点集中多个右边缘点之间的距离最小其中下边缘直线方程表示如下：
[0116]
y＝k4x b4。
[0117]
s208、确认所述下边缘直线方程所指示的直线是否经过光心，其中所述光心为所述相机光轴上的点；
[0118]
具体来说，在实际检测过程中，由于金属工件的摆放位置是随机的，因此可能出现相机光轴正好垂直向下拍摄毛刺，使得在拍摄的图像上形成一条细长的直线，从而无法从分割区域大小上反映毛刺的高度信息，此时需要判断毛刺下边缘的直线是否经过了光心，若经过光心(x0，y0)，则认为相机光轴正好垂直向下拍摄毛刺。
[0119]
s209、若所述下边缘直线方程所指示的直线经过所述光心，则向用户端发送提示信息，以提醒用户对所述工件进行位置调整；
[0120]
具体来说，将光心(x0，y0)带入下边缘直线方程中，若
[0121]
y0-k1x0-b1＝0
[0122]
则认为毛刺与摄像头成像平面垂直，此时通过向用户端发送提示信息，以提醒用户对金属工件进行位置的调整。
[0123]
s210、若所述下边缘直线方程所指示的直线不经过所述光心，将所述边缘直线方程中下边缘直线方程所指示的直线向上平移，根据所述平移后的直线获取对应的平移直线方程；
[0124]
具体来说，将光心(x0，y0)带入下边缘直线方程中，若
[0125]
y0-k1x0-b1≠0
[0126]
则认为下边缘直线方程所指示的直线不经过所述光心，毛刺方向不与摄像头成像平面垂直，在图像上将下边缘直线方程所指示的直线向上平移，使得边缘点集合中目标上边缘点经过平移后的直线，获取平移直线方程，目标上边缘点与下边缘直线方程所指示的直线的距离最短，其中平移直线方程表示如下：
[0127]
y＝k1x b12；
[0128]
其中，b12为目标上边缘点与下边缘直线方程所指示的直线之间的最短距离。
[0129]
s211、获取所述平移直线方程指示的直线以及所述边缘直线方程指示的各个直线之间相交形成的顶点，其中所述顶点包括第一交点、第二交点、第三交点和第四交点；
[0130]
具体来说，如图8所示，在获取平移直线方程指示的平移后的直线后，获取下边缘直线、左边缘直线、右边缘直线和平移后的直线两两相交的第一交点、第二交点、第三交点和第四交点，并根据下边缘直线方程、左边缘直线方程、右边缘直线方程和平移直线方程分别获取第一交点、第二交点、第三交点和第四交点的坐标；
[0131]
进一步的，第一交点的坐标表示如下：
[0132]
p1＝((b12-b3)/(k3-k1)，k3(b12-b3)/(k3-k1) b3)；
[0133]
第二交点的坐标表示如下：
[0134]
p2＝((b12-b4)/(k4-k1)，k4(b12-b4)/(k4-k1) b4)；
[0135]
第三交点的坐标表示如下：
[0136]
p3＝((b1-b3)/(k3-k1)，k3(b1-b3)/(k3-k1) b3)；
[0137]
第四交点的坐标表示如下：
[0138]
p4＝((b1-b4)/(k4-k1)，k4(b1-b4)/(k4-k1) b4)。
[0139]
s212、获取由所述第一交点和第二交点构成的第一线段，以及由所述第三交点和第四交点构成的第二线段；
[0140]
具体来说，在获取平移直线方程指示的直线以及边缘直线方程指示的各个直线之间相交形成的第一交点、第二交点、第三交点和第四交点后，根据第一交点的坐标和第二交点的坐标获取第一线段，根据第三交点的坐标和第四交点的坐标获取第二线段。
[0141]
s213、对所述第一线段和第二线段分别进行等分，并获取各自线段上的多个等分点，将所述第一线段的多个等分点选择为第一等分点集，将所述第二线段的多个等分点选择为第二等分点集。
[0142]
具体来说，如图9所示，在获取第一线段和第二线段后，分别在第一线段和第二线段进行等分，并分别在第一线段和第二线段上获取n个等分点，使得在第一线段和第二线段分别得到两组相同的等分点数量的第一等分点集和第二等分点集，其中第一等分点集中等分点的坐标表示如下：
[0143]
w1＝{x＝p1.x i
×
t
×
cosθ，y＝p1.y i
×
t
×
sinθ}；
[0144]
其中，w1为第一等分点集，p1.x为第一交点的横坐标，p1.y为第一交点的纵坐标，i∈[0，n]，i用于指示等分点的顺序次数，θ＝arctan(k1)，t＝|p1p2|/n，|p1p2|为第一交点与第二交点之间的距离；
[0145]
第二等分点集中等分点的坐标表示如下：
[0146]
w2＝{x＝p3.x i
×
t
×
cosθ，y＝p3.y i
×
t
×
sinθ}；
[0147]
其中，w2为第二等分点集，p3.x为第三交点的横坐标，p3.y为第三交点的纵坐标，i∈[0,n],θ＝arctan(k1),t＝|p3p4|/n，|p3p4|为第三交点与第四交点之间的距离。
[0148]
s214、根据所述第一等分点集中的等分点和第二等分点集中的等分点获取多个交叉直线方程。
[0149]
具体来说，在将第一线段和第二线段分别进行等分，并获取到第一等分点集中的等分点和第二等分点集中的等分点及其对应的坐标后，将第一等分点集中的等分点和第二等分点集中对应的等分点依次按照等分顺序，两两构成多条交叉直线，其中交叉直线的数量与各自第一线段和第二线段上的等分点数量相同，亦即n条交叉直线，其中交叉直线的方程表示如下：
[0150]
l＝{ki＝(w1i.y-w2i.y)/(w1i.x-w2i.x)，bi＝w1i.y-ki
×
w1i.x，i∈[0,n]}；
[0151]
其中，w1i.y为第一等分点集中等分点的纵坐标，w2i.y为第二等分点集中等分点的纵坐标，w1i.x为第一等分点集中等分点的横坐标，i用于指示等分点的顺序次数。
[0152]
s215、获取多个所述交叉直线方程指示的直线与所述分割区域中的上边缘点集相交的多个交点，并将所述多个交点选择为第三等分点集。
[0153]
具体来说，如图10所示，在获取n条交叉直线及其对应的交叉直线方程后，获取n条
交叉直线与上边缘点集相交的多个交点，由于上边缘点集并非连续的曲线，因此需要在上边缘点集中获取与交叉直线最相邻的多个点，并将获取的多个点作为交叉直线与上边缘点集相交的多个交点，将多个交点选择为第三等分点集，其中第三等分点集表示如下：
[0154]
w3＝{yi-li.ki
×
xi-li.bi≈0，i∈[0,n]，(xi，yi)∈d2}；
[0155]
其中，w3为第三等分点集，li.ki为对应等分点的交叉直线方程的斜率参数，li.bi为对应等分点的交叉直线方程的截距参数，d2为上边缘等分点集，i用于指示等分点的顺序次数。
[0156]
s216、获取所述第二等分点集中等分点与所述第三等分点集中对应的交点构成的多个线段，将所述线段作为所述毛刺高度线段；
[0157]
具体来说，在获取到第三等分点集后，根据等分点的顺序次数将第二等分点集中等分点与第三等分点集中对应的交点两两组合，构成多个反映图像上毛刺高度的线段，亦即毛刺高度线段，并记录毛刺高度线段两个端点的图像坐标，亦即构成毛刺高度线段的第二等分点集中等分点和第三等分点集中对应的交点的坐标，其中多个毛刺高度线段的两个端点图像坐标集合表示如下：
[0158]
m＝{(w2i.x,w2i.y)，(w3i.x,w3i.y)，i∈[0,n]}；
[0159]
其中，m为毛刺高度线段的两个端点图像坐标集合，w2i.x为第二等分点集中等分点的横坐标，w2i.y为第二等分点集中等分点的纵坐标，w3i.x为第三等分点集中等分点的横坐标，w3i.y为第三等分点集中等分点的纵坐标，i用于指示等分点的顺序次数。
[0160]
s217、通过标定板建立所述相机与所述工件打孔表面的物理空间坐标关系；
[0161]
具体来说，在获取毛刺高度线段两个端点的图像坐标后，亦即获取构成毛刺高度线段的第二等分点集中等分点和第三等分点集中对应的交点的坐标后，通过基于平面标定板的相机标定方法，建立相机与金属工件打孔表面的物理空间坐标关系。
[0162]
s218、通过所述物理空间坐标和所述毛刺高度线段的图像坐标的对应关系获取毛刺下边缘空间坐标；
[0163]
其中，物理空间坐标和毛刺高度线段的图像坐标的对应关系，通过如下公式表示：
[0164]
λ[mi1.x,mi1.y,1]
t
＝q[xi,yi,0,1]；
[0165]
其中，λ为预设常数，q为常数矩阵，mi1.x为构成毛刺高度线段的第二等分点集中等分点的横坐标，mi1.y为构成毛刺高度线段的第二等分点集中等分点的纵坐标，xi为毛刺下边缘空间横坐标，yi为毛刺下边缘空间纵坐标；
[0166]
具体来说，在获取毛刺高度线段两个端点的图像坐标，并建立相机与金属工件打孔表面的物理空间坐标关系后，将获取的毛刺高度线段两个端点的图像坐标带入对应关系中，获取毛刺下边缘空间横坐标和毛刺下边缘空间纵坐标，亦即获取毛刺下边缘空间坐标。
[0167]
s219、根据所述毛刺下边缘空间坐标，获取毛刺实际高度；
[0168]
具体来说，在获取毛刺下边缘空间坐标后，将毛刺下边缘空间横坐标和毛刺下边缘空间纵坐标，以及毛刺高度线段的第三等分点集中等分点的横坐标和第三等分点集中等分点的纵坐标，带入预设的高度转换关系中，获取毛刺实际高度，其中高度转换关系，通过如下公式表示：
[0169]
λ[mi2.x,mi2.y,1]
t
＝q[xi,yi,zi,1]；
[0170]
其中，λ为预设常数，q为常数矩阵，mi2.x为构成毛刺高度线段的第三等分点集中
等分点的横坐标，mi2.y为构成毛刺高度线段的第三等分点集中等分点的纵坐标，xi为毛刺下边缘空间横坐标，yi为毛刺下边缘空间纵坐标，zi为毛刺实际高度。
[0171]
s220、若所述毛刺实际高度大于第二阈值，则确认当前毛刺的等级为不合格，否则为合格；
[0172]
具体来说，在根据多个毛刺高度线段和物理空间坐标关系获取到全部的毛刺实际高度后，将获取的多个毛刺实际高度与第二阈值依次进行比较，并将其中大于第二阈值的毛刺实际高度确认为不合格，将其中不大于第二阈值的毛刺实际高度确认为合格，并统计中毛刺等级合格的毛刺实际高度与获取的全部毛刺实际高度的比值，若获取的比值大于标准阈值，则确认当前的金属工件打孔边缘存在的毛刺不会对零件的装配造成影响，不需要对毛刺采用机械臂剔除，并确认刀头不需要更换，若获取的比值不大于标准阈值，则确认当前的金属工件打孔边缘存在的毛刺会对零件的装配造成影响，需要对毛刺采用机械臂剔除，并确认刀头需要更换。
[0173]
本技术提供了一种毛刺检测方法，通过采用设置于金属工件上方的单目摄像头即相机和低角度光源，去拍摄金属件打孔的位置，获取打孔图像，避免了采用成本高昂的高精度传感器，和对安装精度较高的光学显微镜，并将拍摄的打孔图像送入训练好分割模型中，检测是否存在毛刺，当检测到存在毛刺后，根据毛刺的边缘信息提取毛刺高度数值，并将毛刺高度数值与等级进行对应，从而实现金属件打孔金属毛刺的自动化检测操作，使得企业在降低了检测成本和检测装置的安装要求的同时，能够根据毛刺的高度对毛刺的严重程度和等级进行评估，避免了金属毛刺对装备的使用性能和工作寿命的影响。
[0174]
本发明实施例可以根据上述方法示例对电子设备或主控设备进行功能模块的划分，例如，可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。需要说明的是，本发明实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
[0175]
图11为本技术实施例提供的毛刺检测处理设备的结构示意图。如图11所示，该设备110包括：
[0176]
获取模块111，用于获取相机拍摄的工件的拍摄图像，根据所述拍摄图像获取目标矩形区域，其中，所述相机垂直放置在所述工件的上方，所述工件的上方还设置有低角度光源，所述光源用于照射工件打孔边缘，所述目标矩形区域包括打孔图像；
[0177]
第一处理模块112，用于根据所述目标矩形区域获取分割区域，并获取所述分割区域的像素个数，所述分割区域为目标矩形区域中的高亮、不规则连通区域；
[0178]
第二处理模块113，用于若所述像素个数大于第一阈值，则提取所述分割区域中的边缘点集合，并根据所述边缘点集合获取分割区域中的边缘直线方程，根据所述边缘直线方程和所述分割区域中的上边缘点获取毛刺高度线段；
[0179]
执行模块114，用于通过标定板建立所述相机与所述工件打孔表面的物理空间坐标关系，根据所述毛刺高度线段和所述物理空间坐标关系获取毛刺实际高度，若所述毛刺实际高度大于第二阈值，则确认当前毛刺的等级为不合格，否则为合格。
[0180]
进一步的，第一处理模块112，具体用于在所述目标矩形区域内，通过分割网络选择高亮且不规则的连通区域，并将选择的所述连通区域作为分割区域，其中所述连通区域
的面积与毛刺的高度成正比关系。
[0181]
进一步的，第二处理模块113，具体用于：在所述分割区域中建立图像坐标关系，并提取所述分割区域中边缘轮廓所在点的坐标集合，并对所述边缘轮廓所在点的坐标集合按照从下往上、从上往下、从左至右、从右至左依次进行遍历，得到下边缘点集、上边缘点集、左边缘点集和右边缘点集，根据所述下边缘点集、上边缘点集、左边缘点集和右边缘点集，得到所述边缘点集合。
[0182]
进一步的，第二处理模块113，具体用于获取所述下边缘点集与所述左边缘点集的第一交集，若所述第一交集中边缘点的数量大于或等于第三阈值，则将所述第一交集作为新的下边缘点集，否则将所述第一交集作为新的左边缘点集，获取所述上边缘点集与所述左边缘点集的第二交集，若所述第二交集中边缘点的数量大于或等于第三阈值，则将所述第二交集作为新的上边缘点集，否则将所述第二交集作为新的左边缘点集，获取所述上边缘点集与所述右边缘点集的第三交集，若所述第三交集中边缘点的数量大于或等于第三阈值，则将所述第三交集作为新的上边缘点集，否则将所述第三交集作为新的右边缘点集，获取所述下边缘点集与所述右边缘点集的第四交集，若所述第四交集中边缘点的数量大于或等于第三阈值，则将所述第四交集作为新的下边缘点集，否则将所述第四交集作为新的右边缘点集，根据新的边缘点集和未发生变化的边缘点集，获取所述边缘点集合。
[0183]
进一步的，第二处理模块113，具体用于根据所述边缘点集合中的下边缘点集获取下边缘直线方程，使得所述下边缘直线方程所指示的直线与所述下边缘点集中多个下边缘点之间的距离最小，根据所述边缘点集合中的左边缘点集获取左边缘直线方程，使得所述左边缘直线方程所指示的直线与所述左边缘点集中多个左边缘点之间的距离最小，根据所述边缘点集合中的右边缘点集获取右边缘直线方程，使得所述右边缘直线方程所指示的直线与所述右边缘点集中多个右边缘点之间的距离最小。
[0184]
进一步的，第二处理模块113，还用于确认所述下边缘直线方程所指示的直线是否经过光心，其中所述光心为所述相机光轴上的点；
[0185]
若所述下边缘直线方程所指示的直线经过所述光心，则向用户端发送提示信息，以提醒用户对所述工件进行位置调整；
[0186]
若所述下边缘直线方程所指示的直线不经过所述光心，则确定执行根据所述边缘直线方程和所述分割区域中的上边缘点获取毛刺高度线段的步骤。
[0187]
进一步的，第二处理模块113，具体用于将所述边缘直线方程中下边缘直线方程所指示的直线向上平移，获取平移后的直线，使得边缘点集合中目标上边缘点经过所述平移后的直线，其中所述目标上边缘点与所述下边缘直线方程所指示的直线的距离最短，根据所述平移后的直线获取对应的平移直线方程，根据所述平移直线方程、所述边缘直线方程和所述上边缘点，获取毛刺高度线段。
[0188]
进一步的，第二处理模块113，具体用于获取所述平移直线方程指示的直线以及所述边缘直线方程指示的各个直线之间相交形成的顶点，其中所述顶点包括第一交点、第二交点、第三交点和第四交点，获取由所述第一交点和第二交点构成的第一线段，以及由所述第三交点和第四交点构成的第二线段，其中，所述第一线段和所述第二线段与所述平移直线方程所指示的直线平行，所述第二线段为远离所述上边缘点的线段，对所述第一线段和第二线段分别进行等分，并获取各自线段上的多个等分点，其中所述第一线段的等分点数
circuit，简称：asic)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合发明所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
[0202]
存储器可能包含高速ram存储器，也可能还包括非易失性存储nvm，例如至少一个磁盘存储器。
[0203]
总线可以是工业标准体系结构(industry standard architecture，isa)总线、外部设备互连(peripheral component，pci)总线或扩展工业标准体系结构(extended industry standard architecture，eisa)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，本技术附图中的总线并不限定仅有一根总线或一种类型的总线。
[0204]
上述针对电子设备以及主控设备所实现的功能，对本发明实施例提供的方案进行了介绍。可以理解的是，电子设备或主控设备为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。结合本发明实施例中所公开的实施例描述的各示例的单元及算法步骤，本发明实施例能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同的方法来实现所描述的功能，但是这种实现不应认为超出本发明实施例的技术方案的范围。
[0205]
本技术还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如上毛刺检测方法。
[0206]
上述的计算机可读存储介质，上述可读存储介质可以是由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(sram)，电可擦除可编程只读存储器(eeprom)，可擦除可编程只读存储器(eprom)，可编程只读存储器(prom)，只读存储器(rom)，磁存储器，快闪存储器，磁盘或光盘。可读存储介质可以是通用或专用计算机能够存取的任何可用介质。
[0207]
一种示例性的可读存储介质耦合至处理器，从而使处理器能够从该可读存储介质读取信息，且可向该可读存储介质写入信息。当然，可读存储介质也可以是处理器的组成部分。处理器和可读存储介质可以位于专用集成电路(application specific integrated circuits，简称：asic)中。当然，处理器和可读存储介质也可以作为分立组件存在于电子设备或主控设备中。
[0208]
本技术还提供了一种计算机程序产品，计算机程序产品包括：计算机程序，计算机程序存储在可读存储介质中，电子设备的至少一个处理器可以从可读存储介质读取计算机程序，至少一个处理器执行计算机程序使得电子设备执行上述任一实施例提供的方案。
[0209]
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。
[0210]
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术
方案的范围。