一种基于轮廓特征的图形自动分类方法及装置与流程

1.本发明涉及一种基于轮廓特征的图形自动分类方法，同时也涉及相应的图形自动分类装置，属于图像处理技术领域。


背景技术：

2.随着自动化生产在工业领域的不断发展，在针对特殊场景下对固件形状匹配和分类的需求从模糊匹配发展为高精度匹配，对算法的鲁棒性和时效性的要求越来越高。目前，现有算法是基于图像提取形状轮廓，并计算中心矩特征，与字典库中的形状进行匹配分类。该现有算法仅考虑了轮廓中心矩，虽然有旋转平移不变性，但对一些环境噪声，形状的轻微形变以及不显著轮廓变化及其敏感，鲁棒性较差。
3.在申请号为201210501777.7的中国专利申请中，公开了一种基于图形识别的缺陷检索系统及其方法。该方法包括如下步骤：建立缺陷数据库，并采用图形边界轮廓算法对缺陷数据库中的各种缺陷图形进行计算，一一对应的建立各种缺陷的轮廓特征数据；接收所输入的待查缺陷的图片；采用图形边界轮廓算法对待查缺陷的图片运算后取得其轮廓特征数据；将提取获得的轮廓特征数据与缺陷数据库中建立的轮廓特征数据进行比对；以及根据比对的结果，从缺陷数据库中找到相同或相似的缺陷数据信息及相关解决方案。
4.但是，上述方法需要提前采用图形边界轮廓算法对待查缺陷的图片进行运算，得到轮廓特征数据，然后基于该轮廓特征数据进行比对。这就导致该方法只能对事先已保存并得到了轮廓特征数据的图片进行分类，一旦出现新的类别就无法识别了。而且，该方法无法克服环境噪声导致的识别错误。


技术实现要素：

5.本发明所要解决的首要技术问题在于提供一种基于轮廓特征的图形自动分类方法。
6.本发明所要解决的另一技术问题在于提供一种基于轮廓特征的图形自动分类装置。
7.为了实现上述目的，本发明采用以下的技术方案：
8.根据本发明实施例的第一方面，提供一种基于轮廓特征的图形自动分类方法，包括以下步骤：
9.s1：采集图像，作为待比对图像；
10.s2：对待比对图像进行去噪处理，并且进行阈值二值化处理；
11.s3：对s2中处理后的图像进行轮廓边缘提取，得到待比对轮廓；
12.s4：根据奇异值分解得到待比对轮廓的长轴和短轴，依据长轴和短轴的比例对s2中处理后的图像进行尺寸变换；
13.s5：分别计算字典库中各变换后轮廓与尺度变换后的待比对轮廓之间的相似度特征；
14.s6：基于步骤s5得到的每个变换后轮廓的相似度特征，得到待比对轮廓与每一个变换后轮廓的综合相似度；
15.s7：将综合相似度最大的字典库中的轮廓作为待比对轮廓的分类结果。
16.其中较优地，所述步骤s5包括以下子步骤：
17.s51：逐一计算每个变换后轮廓与待比对轮廓的中心距特征，并计算得到每个变换后轮廓的第一余弦相似度；
18.s52：逐一计算每个变换后轮廓与待比对轮廓的内接矩形和外接矩形面积占比，并计算得到每个变换后轮廓的第二余弦相似度；
19.s53：逐一计算每个变换后轮廓与待比对轮廓的局部曲率分布特征向量，并计算得到每个变换后轮廓的第三余弦相似度。
20.其中较优地，所述步骤s6中，是将所述第一余弦相似度、第二余弦相似度第三余弦相似度加权求和得到所述相似度特征。
21.其中较优地，利用所述步骤s4得到的长轴特征向量和短轴特征向量，构造新轮廓的外接最小矩形，并计算新轮廓的面积与外接最小矩形的面积之比k1，作为第一面积比；
22.再求得新轮廓的最大内接矩形，并计算最大内接矩形与新轮廓面积之比k2，作为第二面积比，
23.基于所述第一面积比k1和所述第二面积比计算所述第二余弦相似度。
24.其中较优地，所述新轮廓是根据所述长轴特征向量和短轴特征向量的比例，对所述待比对轮廓进行尺度变换得到的。
25.其中较优地，根据所述长轴特征向量和短轴特征向量的比例，将所述字典库中的各个轮廓的长轴和短轴的比例，变换得到对应的各个变换后轮廓。
26.其中较优地，对所述新轮廓或所述各个变换后轮廓中的，每一个轮廓点的曲率值做统计，得到各轮廓点的曲率值概率密度分布，以0.1为步长，将曲率分布在－3到2之间的曲率值概率值，组成长度为50的向量v1，作为局部曲率分布特征向量。
27.其中较优地，所述步骤s2中，对待比对图像还进行阈值二值化处理。
28.根据本发明实施例的第二方面，提供一种基于轮廓特征的图形自动分类装置，包括处理器和存储器，所述处理器读取所述存储器中的计算机程序，用于实现如前述的基于轮廓特征的图形自动分类方法。
29.与现有技术相比较，本发明所提供的图形自动分类方法及装置，通过提取三种特征与字典库中对应的形状特征进行比对，求余弦相似度，然后对三种余弦相似度加权求和，将字典库中相似度最大的形状输出。本发明降低了对资源和数据的要求，加快了运算速度，提高了鲁棒性,并且对复杂环境下具有轻微形变以及同类型轮廓有较好的匹配分类效果，使分类结果更加稳定准确。
附图说明
30.图1是本发明实施例中，基于轮廓特征的图形自动分类方法的流程示意图；
31.图2是本发明实施例中，待对比图像的图例；
32.图3是本发明实施例中，形状字典库；
33.图4是本发明实施例中，将待对比图像进行阈值二值化处理后的图像；
34.图5是从图4中提取出的待比对轮廓图；
35.图6是本发明实施例中，进行尺寸变换的示意图；
36.图7a是本发明实施例中，待比对轮廓的最小外接矩形示意图；
37.图7b是本发明实施例中，待比对轮廓的最大内接矩形示意图；
38.图8a是本发明实施例中，待比对轮廓的各轮廓点的局部曲率分布特征示意图；
39.图8b是本发明实施例中，待比对轮廓的各轮廓点的局部曲率分布特征示意图；
40.图8c是本发明实施例中，待比对轮廓的各轮廓点的局部曲率分布特征示意图；
41.图9是本发明实施例中，最终匹配结果示意图；
42.图10是本发明实施例中，基于轮廓特征的图形自动分类装置的结构示意图。
具体实施方式
43.下面结合附图和具体实施例对本发明的技术内容进行详细具体的说明。
44.如图1所示，本发明实施例提供的一种基于轮廓特征的图形自动分类方法，至少包括以下步骤：
45.s1：通过专业的工业相机或者图像采集设备，采集完整的工业固件图像，作为待比对图像。
46.如图2所示，工业相机或者图像采集设备得到待对比图像。其中，视环境增加补光和单一背景色设置，以保证待比对图像的质量达到预定标准。
47.如图3所示，形状字典库包括多个轮廓的图形。在此假设该字典库包括1，2
……
m个轮廓(m为正整数，下同)。
48.s2：对待比对图像进行去噪处理，并且进行阈值二值化处理。
49.如图4所示，对待比对图像进行去噪处理，并且进行阈值二值化处理。需要提到的是，所述的步骤s2对图像进行高斯滤波去噪，并进行均衡化处理，然后利用阈值分割的二值化处理，尽可能突出固件的轮廓特征，减少光线阴影等噪声影响。
50.s3：对s2中处理后的图像进行轮廓边缘提取，得到包含轮廓点坐标的序列特征，得到待比对轮廓。
51.如图5所示，采用canny边缘检测算法对图像进行轮廓边缘提取，得到各轮廓点坐标的序列特征。为了确保所含轮廓为固件的外轮廓，在必要时应提取途中存在的所有闭合轮廓边缘，对所提轮廓进行面积大小排序，仅保留面积最大的轮廓，即工件外轮廓，作为待比对轮廓。
52.s4：根据奇异值分解得到待比对轮廓的长轴和短轴，依据长轴和短轴的比例对图像进行尺寸变换。
53.对待比对轮廓的特征点数据(即，各轮廓点坐标的序列特征)进行奇异值分解(svd)，得到两个特征值和对应的特征向量(长轴特征向量和短轴特征向量)。根据这两个特征向量，得到轮廓的长轴和短轴方向和大小，从而计算得到待比对轮廓的长轴和短轴的比例x。然后，依据长轴和短轴大小的比例x，对待比对轮廓进行尺度变换，得到新的轮廓点，从而形成新轮廓。
54.如图6所示，通过图像形变，将字典库中各个轮廓的长轴和短轴的比例，变换成待比对轮廓的长轴和短轴的比例x，由此将字典库中各个轮廓变形得到对应的多个变换后轮
廓(长轴和短轴的比例x)。这能有效避免由于长轴和短轴尺度不一导致的对中心矩特征以及曲率分布特征的不良影响。
55.s5：分别计算字典库中各变换后轮廓与尺度变换后的待比对轮廓之间的相似度特征。
56.由于在s4步骤中，字典库中各变换后轮廓的长轴和短轴的比例为x，与计算得到待比对轮廓的长轴和短轴的比例相同，所以可以计算两者之间的相似度特征。具体实施步骤如下：
57.s51：逐一计算每个变换后轮廓与待比对轮廓的中心距特征，并计算得到每个变换后轮廓的第一余弦相似度。
58.利用opencv(开源的计算机视觉库)分别计算各个变换后轮廓，与尺度变换后的新轮廓之间的中心矩特征，直接计算二者的余弦相似度，作为相同尺度下的中心矩相似度。
59.s52：逐一计算每个变换后轮廓与待比对轮廓的内接和外接矩形面积占比，并计算得到每个变换后轮廓的第二余弦相似度。
60.利用步骤s4得到的长轴特征向量和短轴特征向量，构造新轮廓的外接最小矩形(如图7a所示)，并计算新轮廓的面积(新轮廓面积)与外接最小矩形的面积之比k1，作为第一面积比。再根据长轴特征向量和短轴特征向量，求得该新轮廓的最大内接矩形(如图7b所示)，并计算最大内接矩形与新轮廓面积之比k2，作为第二面积比。第一面积比k1和第二面积比这两个标量k2，构成二元向量作为新轮廓的内接和外接矩形面积占比特征向量a。
61.类似的，计算字典库中各变换后轮廓的内接和外接矩形面积，然后计算各变换后轮廓的内接和外接矩形面积占比特征向量b。分别基于k1和k2，与字典库中各变换后轮廓的内接和外接矩形面积占比，计算余弦相似度作为第二余弦相似度，具体公式如下：
[0062][0063]
其中，a为新轮廓的内接和外接矩形面积占比特征向量，bi为第i个变换后轮廓的内接和外接矩形面积占比特征向量，cosi(θ)为两个特征向量a和bi的相似度，i∈m。
[0064]
s53：逐一计算每个变换后轮廓与待比对轮廓的局部曲率分布特征向量，并计算得到每个变换后轮廓的第三余弦相似度。
[0065]
基于步骤s4中得到的新轮廓的各个轮廓点，逐一计算局部曲率，计算公式如下：
[0066][0067][0068]
其中，cur表示平面中新轮廓的任意三个轮廓点{pi(xi,yi)}
i＝1,2,3
的中心点的曲率值。
[0069]
对新轮廓的每一个轮廓点的曲率值做统计，得到各轮廓点的曲率值概率密度分布。在本发明的一个实施例中，例如以0.1为步长，将曲率分布在－3到2之间的曲率概率值，
组成长度为50的向量v1，作为新轮廓的局部曲率分布特征向量，例如如图8a所示。前述具体值是根据统计得知，轮廓库中各轮廓点的曲率的分布范围在－3～2之间；并且设置曲率0.1为步长是统计出来效果较好的经验值，即划分为50个区间。但是本领域技术人员可以理解，该具体值只是用于举例以方便理解，实际上，局部曲率分布特征向量是根据统计得到轮廓库中各个新轮廓点的曲率的分布范围，将其划分为预定数量的区间，得到的特征向量。
[0070]
类似的，计算字典库中的各变换后轮廓的局部曲率分布特征向量v2，例如图8b和图8c所示。然后，分别基于新轮廓的局部曲率分布特征向量v1，以及字典库中的各变换后轮廓的局部曲率分布特征向量v2，计算余弦相似度，得到第三余弦相似度。
[0071]
s6：基于步骤s5得到的每个变换后轮廓的三种相似度，加权求和，得到待比对轮廓与每一个变换后轮廓的综合相似度。
[0072]
将变换后轮廓的第一余弦相似度、第二余弦相似度、第三余弦相似度进行加权求和，得到该变换后轮廓与新轮廓的综合相似度。
[0073]
s7：将综合相似度最大的字典库轮廓作为待比对轮廓的分类结果，并输出。
[0074]
将s6步骤中得到的每个变换后轮廓对应的综合相似度，进行计算(例如重合度计算、相似度计算)，找到综合相似度最大的变换后轮廓。然后根据该综合相似度最大的变换后轮廓找到对应的字典库内的轮廓，将此作为分类结果，并输出为该待对比轮廓的分类。
[0075]
如图8a所示的待比对轮廓的局部曲率分布特征示意图，如图8b所示的字典库内的一个相似轮廓的局部曲率分布特征示意图，可以看出两图的重合度高。因此可以得知该相似轮廓为综合相似度最大的轮廓。为方便理解，如图9所示，字典库中的相似轮廓为shape 14，其相似度为0.89，最综合相似度最大值。作为对比，如图8c所示的字典库内的其他轮廓的局部曲率分布特征示意图，该图与图8a所示的待比对轮廓的局部曲率分布特征示意图的重合度低，因此图8c对应的轮廓就不是相似轮廓。例如，图9中shape 6的相似度为0.6016，低于0.89，因此不是最相似的轮廓。类似的，shape 15和shape 11的相似度均低于0.89，所以均不是相似的轮廓。
[0076]
与现有技术相比较，本发明所提供的图形自动分类方法是对图像进行去噪二值化等预处理，提取图像轮廓边缘特征，结合轮廓特征的尺度，中心矩，曲率等特性构造相似度指标，同时考虑了对边缘噪声的敏感以及轮廓的可扩展性，构造内外接矩阵面积比特征。最终结合多个特征进行分类。因此，本发明所获得的分类结果更加稳定准确，鲁棒性好，运算速度快，对资源要求和数据要求较低。
[0077]
另一方面，本发明所提供的图形自动分类方法，对复杂环境下具有轻微形变以及同类型轮廓有较好的匹配分类效果，并且计算快，资源消耗低。对具有轻微形变和较多噪声，相似但不完全匹配的轮廓形状分类效果显著，鲁棒性强，计算资源消耗低，计算速度快。
[0078]
在上述基于轮廓特征的图形自动分类方法的基础上，本发明进一步提供一种基于轮廓特征的图形自动分类装置。如图10所示，该图形自动分类装置包括一个或多个处理器71和存储器72。其中，存储器72与处理器71耦接，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器71执行，使得所述一个或多个处理器71实现上述实施例中基于轮廓特征的图形自动分类方法。
[0079]
其中，处理器71用于控制该基于轮廓特征的图形自动分类装置的整体操作，以完成上述基于轮廓特征的图形自动分类方法的全部或部分步骤。在本发明的实施例中，该处
理器71优选为gpu(图形处理单元)，但也可以是fpga(现场可编程逻辑门阵列)、asic(专用集成电路)、dsp(数字信号处理器)等。存储器72用于存储各种类型的数据以支持在该基于轮廓特征的图形自动分类方法的操作，这些数据例如可以包括用于在该基于轮廓特征的图形自动分类装置上操作的任何应用程序或方法的指令，以及应用程序相关的数据。
[0080]
该存储器72可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(sram)、电可擦除可编程只读存储器(eeprom)、可擦除可编程只读存储器(eprom)、可编程只读存储器(prom)、只读存储器(rom)、磁存储器、快闪存储器等。
[0081]
在一个示例性实施例中，基于轮廓特征的图形自动分类装置具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现，用于执行上述基于轮廓特征的图形自动分类方法，并达到如上述方法一致的技术效果。一种典型的实施例为计算机。具体地说，计算机例如可以为个人计算机、膝上型计算机、车载人机交互设备、公安卡口检查设备、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
[0082]
在另一个示例性实施例中，本发明还提供一种包括程序指令的计算机可读存储介质，该程序指令被处理器执行时实现上述任意一个实施例中的基于轮廓特征的图形自动分类方法的步骤。例如，该计算机可读存储介质可以为包括程序指令的存储器，上述程序指令可由基于轮廓特征的图形自动分类装置的处理器执行以完成上述基于轮廓特征的图形自动分类方法，并达到如上述方法一致的技术效果。
[0083]
综上所述，本发明具有以下的技术特点：1)因为对采集的图像进行阈值二值化处理，所以对环境噪声不敏感；2)因为采用中心距特征、内接和外接矩形面积占比、局部曲率分布特征向量，这三个相似度得到综合相似度，因此对形状的轻微形变以及不显著轮廓变化极敏感，鲁棒性高。
[0084]
首先，传统的中心矩特征虽然具有旋转不变性，尺度大小不变性，但是对长短轴比例不一较为敏感，尤其在此需求中，长短轴比例不一的形状比较多见，但实际属于同一类轮廓，因此考虑加入长短轴的尺度归一化能有效避免这种不利影响。其次，结合曲率分布信息能有效区分轮廓基本形状。例如直线线段多还是不同程度的曲线多。最后，利用内/外接矩形面积占比进行分类，针对有特殊凸/凹结构的部件有较好的识别能力。因此，通过结合这三个特征，本发明所提供的基于轮廓特征的图形自动分类方法的抗噪能力更强。
[0085]
上面对本发明所提供的基于轮廓特征的图形自动分类方法及装置进行了详细的说明。对本领域的一般技术人员而言，在不背离本发明实质内容的前提下对它所做的任何显而易见的改动，都将构成对本发明专利权的侵犯，将承担相应的法律责任。