一种图片中的虚实线局部区域的提取方法与流程

1.本发明涉及计算机技术领域，涉及图像处理，具体涉及一种图片中的虚实线局部区域的提取方法。


背景技术：

2.随着计算机技术的快速发展，在实际应用中，基于人工的方式已经难以满足现代化快速发展的需求，尤其是在企业及个人办公数字化的发展潮流中，传统的人工筛选与识别已经难以适应现实需求。
3.目前有很多图像处理技术，如专利文件[1]申请号为201510967136.4，涉及的是一种图片分割方法、装置及设备，解决了图片分割设备对图片中的字符分割效果较差的问题，提高了含有符号及字符提高图片的分割效率。或，如专利文件[2]申请号为201710686692.3，涉及图片分割方法、装置、存储介质和计算机设备，在识别图片信息时，通过利用卷积核对待分割图片进行边缘提取，并对提取的边缘进行分析处理，提高了边缘检测的精确度和图片分割精确度，提高了操作的便利性。这类现有技术着重用于图片中的文字、字符识别与提取。
[0004]
还有一类现有技术，着重用于提取某一具体领域中的图片中的特征提取的应用，如涉及智能驾驶领域中的路面车道识别，如专利文件[3]申请号202110149948.3，涉及一种路面区域提取方法、系统、电子设备及存储介质，基于小波变换、hsv颜色空间转换以及连通区域提取等技术结合，能够去除原始图片中噪声的干扰，提高道路区域提取的精度，此方法相比传统的道路区域提取算法的精度更高，鲁棒性更好。再如涉及建筑领域，如专利文献[4]申请号202110161011.8，涉及一种塔式起重机裂缝识别定性方法，基于yolov3智能算法提取出裂缝目标区域，并使用图像处理算法，能够快速有效的提取得到裂缝的二值化参数。再如生物特征提取与识别领域，如专利文件[5]申请号201810355969.9，涉及基于暗原色的自适应烟叶图片分割方法及系统，实现精准的图片分割，在嘈杂的真实场景中拍摄的烟叶图像实现高效实时的前景提取，自适应新数据能力强，操作简单，计算要求低。
[0005]
虽然在上述具体应用领域中都有相应的图片特征提取技术，但是，目前还缺乏一种对于特定图片中的虚实线局部区域的提取的技术，尤其是需要提取图片中的虚线局部区域，尤其是目前的专利审查中的外观设计的应用中。
[0006]
2021年6月1日起正式施行的新版《中华人民共和国专利法》中，其中增设局部外观设计保护条款，例如玻璃杯的杯口、微波炉的旋钮等，局部外观设计主要保护产品组成部分而非产品整体的外观设计。增加局部外观设计作为保护对象，加大了外观设计保护力度，可以使创新主体更专注于创新；有效解决侵权者抄袭他人局部设计要点等问题，有助于遏制侵权行为的发生；对图形用户界面这一创新成果在著作权保护等之外拓展专利权保护的有效路径，有助于软件产业的发展；申请人可不再对不同产品的整体形态、局部设计不同的组合方式提交多件外观设计专利申请，有利于降低专利布局成本。
[0007]
上述措施虽然增大了外观设计保护对象，但是另一方面，大大增加了外观设计专
利审查员的工作，尤其是新版《中华人民共和国专利法》实施当月即受理800余件局部设计专利。
[0008]
因此，面对局部外观设计审查工作日渐繁重，为了快速有效的适应目前局部外观设计专利的审查制度，亟待提出一种从局部外观设计图中提取出中提取保护区域的技术，来解决局部外观设计专利的审查问题。


技术实现要素：

[0009]
面对上述问题，为了解决局部外观设计专利的审查问题，本发明提供一种图片中的虚实线局部区域的提取方法，将需要的局部保护部分从整体图上提取出来，作为附属图参与检索，解决从虚实线局部设计图中提取保护区域的问题，很好的适应了目前的外观设计保护及审查制度。
[0010]
本发明请求保护以下技术方案：
[0011]
本发明提供的一种图片中的虚实线局部区域的提取方法，其特征在于，包括以下步骤：
[0012]
s1.图片预处理，将图片原始图进行尺寸规格化，通过缩小算法多次缩小原始图得到第一处理图；其中，缩小算法的次数根据原始图的初始尺寸和目标尺寸的比值确定；
[0013]
s2.二值化处理，利用otsu算法将所述第一处理图进行二值化，判断当两组的类间方差最大时，此时灰度值为所述第一处理图二值化的最佳阈值，所述灰度值将图像的灰度分为两组，并设定其中一组前景像素的值为1，另一组其值为0，得到第二处理图；
[0014]
s3.线条图判断，根据所述前景像素计算所述第二处理图的图像线条宽度，使用所述图像线条宽度来进行线条图判断，当判断不是线条图时，进入其他程序并同时返回至步骤s1进行处理下一图；当判断是线条图时，则进行下一步；
[0015]
s4.候选虚线检测，利用联通区域聚类算法对所述第二处理图的前景像素点进行聚类，采用8联通的方式进行判断，同时记录每个区域面积和长宽比，以及获取该区域的像素数量、矩形面积、宽度、高度、像素点列表；选择虚线部分的面积小于d
×
10d以及虚线部分的短边宽度小于2d的区域设定为候选虚线，其中，d为图像线条宽度；
[0016]
s5.虚线确认与搭接，利用hough变换算法计算所述像素点列表中这些点确定的直线，在所述直线的2个方向的90度和10d范围内寻找其余候选虚线；当在1个方向找到候选虚线或2个方向都未找到候选虚线时，则丢弃该像素点；当在2个方向都找到候选虚线时，则确认该候选虚线为实际虚线，并将虚线的像素值标记为2，同时搭接两个方向上的区域，搭接直线上的像素同样标记为2，得到只有三种像素值的第三处理图，其中0记为背景区域，1记为实线区域，2记为虚线和搭接线区域；
[0017]
s5.子图提取，根据所述第三处理图，利用联通区域聚类算法对所述背景区域进行联通区域聚类，并根据
[0018]
来计算所述区域的包围率，取最大包围率区域，所述最大包围率区域的包围率大于90％或者区域对应的虚线部分存在未被使用过的点，该区域即提取为子图。
[0019]
进一步的，所述原始图记为p
nm
，其中：n是图像宽度，m是图像高度；p
ij
是图像p
nm
的
一个像素点，(i,j)是该点的位置坐标；
[0020]
在步骤s1中，通过缩小算法缩小原始图，所述至少两次缩小原始图p
nm
，是指之前的缩小幅度设置为0.8，最后一次缩小至目标尺寸的数值，最后一次的缩小幅度在0.8～1.0之间。
[0021]
优选的，所述缩小算法是指采用基于区域像素关系的重采样算法，对应opencv的inter_area方式。
[0022]
进一步的，在所述s3.线条图判断步骤中，具体包括以下判断步骤：
[0023]
(1)对于每一个p
ij
＝1的所述前景像素，从4个方向计算所述前景像素的宽度，取最小值w作为所述前景像素的宽度；其中，4个方向分别是竖直、水平、45度方向和135度方向；
[0024]
(2)计算所有所述前景像素的宽度均值avg(w)；并设定w(0.99)，其表示计算99％的像素宽都小于w(0.99)；
[0025]
(3)根据作为判断依据，符合条件时则认为该图是线条图，则进行下一步s4；不符合条件时，则不是线条图，进入其他程序；其中a1，a2为经验值，
[0026]
且a1 a2＝1；n是图像宽度，m是图像高度。
[0027]
进一步的，在所述s4.候选虚线检测步骤中，所述图像线条宽度d的计算公式为d＝a1×
avg(w) a2×
w(0.99)；
[0028]
采用的所述联通区域聚类算法为区域生长的算法；
[0029]
所述像素数量、矩形面积、宽度、高度、像素点列表对应的聚类ci，如下：
[0030]ci
(count)表示该区域的像素数量；
[0031]ci
(area)表示该区域的矩形面积；
[0032]ci
(width)表示该区域的宽度；
[0033]ci
(height)表示该区域的高度；
[0034]ci
(points)获得该区域的像素点列表；
[0035]
候选虚线的选定，通过如下规则进行判断：
[0036]ci
(area)＜100d，即虚线部分的面积小于d
×
10d
[0037]
min(ci(width),ci(height))＜2d，即虚线部分的短边宽度小于2d。
[0038]
进一步的，在所述s5.子图提取步骤中，具体提取过程如下：
[0039]
根据所述第三处理图，利用联通区域聚类算法对所述背景区域进行联通区域聚类，将所有与所述虚线区域相接的区域全部标记为未处理，并根据
[0040]
包围率＝区域边界包含虚线部分的长度/区域边界总长，来计算所述未处理区域的包围率，将包围率从大到小的方式进行排序；
[0041]
取出其中包围率最大的一个区域，判断包围率大于90％或者区域对应的虚线部分存在未被使用过的点，提取该未处理区域即为子图，同时将该未处理区域标记为已处理，再进入下一个未处理区域的判断；判断不符合上述判断标准时，不对该未处理区域进行处理，将该区域标记为已处理，直接进入下一个未处理区域的判断；
[0042]
当穷尽所有未处理的区域，全部为已处理时，提取子图流程结束，从而完成所有子图的提取。
[0043]
优选的，本发明还提供一种图片中的虚实线局部区域的提取装置，其特征在于，包
括：
[0044]
图片预处理模块，用于将图片原始图进行尺寸规格化，通过缩小算法多次缩小原始图得到第一处理图；其中，缩小算法的次数根据原始图的初始尺寸和目标尺寸的比值确定；
[0045]
二值化处理模块，用于利用otsu算法将所述第一处理图进行二值化，判断当两组的类间方差最大时，此时灰度值为所述第一处理图二值化的最佳阈值，所述灰度值将图像的灰度分为两组，并设定其中一组前景像素的值为1，另一组其值为0，得到第二处理图；
[0046]
线条图判断模块，用于根据所述前景像素计算所述第二处理图的图像线条宽度，使用所述图像线条宽度来进行线条图判断，当判断不是线条图时，进入其他程序模块，并返回至所述图片预处理模块处理下一图；当判断是线条图时，则进行下一程序模块；
[0047]
候选虚线检测模块，用于利用联通区域聚类算法对所述第二处理图的前景像素点进行聚类，采用8联通的方式进行判断，同时记录每个区域面积和长宽比，以及获取该区域的像素数量、矩形面积、宽度、高度、像素点列表；选择虚线部分的面积小于d
×
10d以及虚线部分的短边宽度小于2d的区域设定为候选虚线，其中，d为图像线条宽度；
[0048]
虚线确认与搭接模块，用于利用hough变换算法计算所述像素点列表中这些点确定的直线，在所述直线的2个方向的90度和10d范围内寻找其余候选虚线；当在1个方向找到候选虚线或2个方向都未找到候选虚线时，则丢弃该像素点；当在2个方向都找到候选虚线时，则确认该候选虚线为实际虚线，并将虚线的像素值标记为2，同时搭接两个方向上的区域，搭接直线上的像素同样标记为2，得到只有三种像素值的第三处理图，其中0记为背景区域，1记为实线区域，2记为虚线和搭接线区域；
[0049]
子图提取模块，用于根据所述第三处理图，利用联通区域聚类算法对所述背景区域进行联通区域聚类，并根据
[0050]
包围率＝区域边界包含虚线部分的长度/区域边界总长，来计算所述区域的包围率，取最大包围率区域，所述最大包围率区域的包围率大于90％或者区域对应的虚线部分存在未被使用过的点，该区域即提取为子图。
[0051]
优选的，本发明还提供一种针对外观设计专利检索中的虚实线局部外观设计图的处理方法，其特征在于，利用权利要求1所述的虚实线局部区域的提取方法提取出外观设计专利检索中的虚实线局部外观设计图中的局部保护区域，即子图。
[0052]
进一步的，本发明提供的一种针对外观设计专利检索中的虚实线局部外观设计图的处理方法，包括以下步骤：
[0053]
第一步，外观设计预处理，对于外观设计的申请信息进行提取处理；
[0054]
第二步，根据提取的信息判断是否为局部外观设计，当判断是局部外观设计时，进入下一步；否者，不做处理；
[0055]
第三步，根据局部外观设计图提取子图，将第二步所述局部外观设计图作为原始图，利用权利要求1所述的步骤进行子图的提取；其中，在所述s3.线条图判断步骤中，根据所述前景像素计算所述第二处理图的图像线条宽度，使用所述图像线条宽度来进行线条图判断，当判断不是线条图时，进入其他程序；
[0056]
第四步，将所述提取的子图进行扩充，将扩充出来的子图与按照常规原有非局部设计图的相同的方式进行处理。
[0057]
优选的，本发明还提供一种针对外观设计专利检索中的虚实线局部外观设计图的处理装置，其特征在于，包括以下模块：
[0058]
预处理模块，用于外观设计预处理，对于外观设计的申请信息进行提取处理；
[0059]
局部外观设计筛选模块，用于根据提取的信息判断是否为局部外观设计，当判断是局部外观设计时，进入下一步；否者，不做处理；
[0060]
提取子图模块，用于将所述局部外观设计图作为原始图，利用权利要求8所述的一种图片中的虚实线局部区域的提取装置进行子图的提取；根据所述前景像素计算所述第二处理图的图像线条宽度，使用所述图像线条宽度来进行线条图判断，当判断不是线条图时，进入其他程序模块；
[0061]
子图扩充模块，用于将所述提取的子图进行扩充，将扩充出来的子图与按照常规原有非局部设计图的相同的方式进行处理。
[0062]
与现有技术相比，本发明通过像素点的宽度来判断图像是否是线条图，进一步利用候选虚线判断准则判断图像的某一区域是否是候选虚线，再利用虚线确认准则，判断虚线，最后通过包围率算法，提取实际子图，实现准确的计算出虚实线结合的图片的子图区域(虚线部位或实线部位)；本发明提供的方法及装置，通过精密的构思及算法的应用可以快速提取出虚实线结合设计图的子图。
[0063]
由于在实际应用，面对其他包含虚实线结合的图片识别与分解技术领域的应用中，能够快速准确的对图像的子图(虚线部位或实线部位)进行提取，并基于提取后的子图进行下一步的应用是目前极为重要的应用。
[0064]
同样的，由于局部外观设计的申请视图有中既包含需要保护的局部设计，也包含了该局部所在的整体产品。通过不同的绘制或者处理方式加以区分，大多数国家均允许虚线与实线结合的方式和半透明色块涂覆方式。大多数情况下，采用虚线与实线结合的方式时，实线绘制的为保护的部分，虚线绘制的为不保护的部分；采用半透明涂覆的方式时，未覆盖的为保护的部分，覆盖的为不保护的部分。然而，也存在例外的情况，比如采用其他方式区分保护部分和不保护部分，比如点划线、阴影、涂色等；也有虚线绘制的为保护的部分，实线绘制的为不保护的部分的；也有覆盖的为保护的部分，未覆盖的为不保护的部分
……
[0065]
但是对于虚实线结合的局部外观设计而言，仅仅依靠目前的审查方法是不足以应对日益增加的局部外观设计申请的数量的的要求。目前外观设计专利审查系统采用的是全局特征的检索方式，是一种比较靠谱的算法，如果两件外观专利在全局上相同或者相似，一定会被检索出来，并排在相对靠前的位置。目前的算法无法进行局部比较，因此对于局部设计，审查员只有通过最原始的办法进行审查，那就是穷举法，每一件检索范围内专利都要一一与被检专利人工比较。
[0066]
如果能正确提取出子图，就可以用全局特征的方式对子图提取特征，从而实现与普通案件一样算法进行相似度排序，从而实现与的普通审查一样的方式进行审查，一般只需要审查前检索结果的前几百件专利即可。
[0067]
对于此，使用本发明可以准确并快速计算出虚实线结合局部外观设计专利的局部保护区域；对比之前的审查手段，原来需要人工比对全部候选专利(正常情况下一个候选集合的规模在5万左右)，现在只需要对比检索前几百件案件。使用发明提供的方法提取出保护区域后，使用全局特征检索的方式即可实现快速的局部检索，解决了局部设计审查的难
点问题，可以大大提高审查员对局部外观设计专利的审查效率，对国家提出的知识产权“提质增效”的战略提供技术支持。
附图说明
[0068]
图1.本发明提供的一种图片中的虚实线局部区域的提取方法的步骤流程示意图。
[0069]
图2.本发明提供的一种图片中的虚实线局部区域的提取方法中子图提取步骤的具体流程图。
[0070]
图3.本发明提供的一种图片中的虚实线局部区域的提取装置的配置程序模块图。
[0071]
图4.本发明提供的一种针对外观设计专利检索中的虚实线局部外观设计图的处理方法的步骤流程图。
[0072]
图5.本发明提供的一种针对外观设计专利检索中的虚实线局部外观设计图的处理装置的配置程序模块图。
[0073]
图6.本发明提供的一种针对外观设计专利检索中的虚实线局部外观设计图的处理方法中经过二值化后的，所述第二处理图的一种展示图。
[0074]
图7.本发明提供的一种针对外观设计专利检索中的虚实线局部外观设计图的处理方法中经过虚线确认与搭接后的，所述第三处理图的一种展示图。
[0075]
图8.本发明提供的一种针对外观设计专利检索中的虚实线局部外观设计图的处理方法中，子图提取过程中的包围率从大到小的排序展示图，其中1表示所有与虚线区域相接的区域；2表示包围率为100％的区域；3表示包围率小于100％的区域。
[0076]
图9.本发明提供的一种针对外观设计专利检索中的虚实线局部外观设计图的处理方法中，提取的子图展示图。
具体实施方式
[0077]
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
[0078]
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆益不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统，产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0079]
首先，在对本技术实施例进行描述的过程中出现的部分名词或术语适用于如下解释：
[0080]
缩小算法：本文的单次缩小算法的调用opencv的缩放函数，为了解决失真问题，本发明采用多级缩小的方式。
[0081]
otsu(大津法或最大类间方差法)算法是由日本学者otsu于1979年提出的一种对
图像进行二值化的高效算法。它被认为是图像分割中阈值选取的最佳算法，计算简单，不受图像亮度和对比度的影响，因此在数字图像处理上得到了广泛的应用。它是按图像的灰度特性，将图像分成背景和前景两部分。因方差是灰度分布均匀性的一种度量,背景和前景之间的类间方差越大,说明构成图像的两部分的差别越大,当部分前景错分为背景或部分背景错分为前景都会导致两部分差别变小。因此,使类间方差最大的分割意味着错分概率最小。本发明的二值化采用类似的算法，并调用的opencv的二值化函数。
[0082]
联通区域聚类算法：像素的8邻域指的是上、下、左、右、左上、右上、左下、右下；像素的4邻域指的是上、下、左、右；8联通指的是，像素与他的8邻域都算作联通；4联通指的是，像素只与上下左右邻域算联通。
[0083]
候选虚线检测与子图提取过程都用到联通区域聚类算法；候选虚线检测时，对前景点进行聚类(对应一般图像中的黑色像素)，每一个虚线点都是一个联通区域，通过这些区域的特点(小，不连续，但是周围有同样尺寸的区域)。在做子图提取的时候，首先要对虚线进行搭接，搭接后就对背景区域进行了隔离，然后对背景点进行聚类(对应一般图像中的白色像素)。
[0084]
hough变换于1962年由paul hough提出，是一种使用表决方式的参数估计技术，其原理是利用图像空间和hough参数空间的线-点对偶性，把图像空间中的检测问题转换到参数空间中进行。霍夫变换是图像处理中从图像中识别几何形状的基本方法之一，应用很广泛，也有很多改进算法。最基本的霍夫变换是从黑白图像中检测直线(线段)。广义的hough变换已经不仅仅局限于提取直线，二值任意可以用表达式表达的曲线，比如圆，椭圆，正弦余弦曲线，等等，但是曲线越是复杂，所需参数越多，运算的时间也就越多。
[0085]
图1是本发明提供的一种图片中的虚实线局部区域的提取方法的步骤流程示意图。其中，包括以下步骤：
[0086]
s1.图片预处理，将图片原始图进行尺寸规格化，通过缩小算法多次缩小原始图得到第一处理图；其中，缩小算法的次数根据初始尺寸和目标尺寸的比值确定，假设是a(a》1)，一般每次缩小原图的80％，因此缩放次数最少为
[0087]
s2.二值化处理，利用otsu算法将所述第一处理图进行二值化，判断当两组的类间方差最大时，此时灰度值为所述第一处理图二值化的最佳阈值，所述灰度值将图像的灰度分为两组，并设定其中一组前景像素的值为1，另一组其值为0，得到第二处理图。
[0088]
s3.线条图判断，根据所述前景像素计算所述第二处理图的图像线条宽度，使用所述图像线条宽度来进行线条图判断，当判断不是线条图时，进入其他程序并同时返回至步骤s1进行处理下一图；当判断是线条图时，则进行下一步。
[0089]
s4.候选虚线检测，利用联通区域聚类算法对所述第二处理图的前景像素点进行聚类，采用8联通的方式进行判断，同时记录每个区域面积和长宽比，以及获取该区域的像素数量、矩形面积、宽度、高度、像素点列表；选择虚线部分的面积小于d
×
10d以及虚线部分的短边宽度小于2d的区域设定为候选虚线，其中，d为图像线条宽度。
[0090]
s5.虚线确认与搭接，利用hough变换算法计算所述像素点列表中这些点确定的直线，在所述直线的2个方向的90度和10d范围内寻找其余候选虚线；当在1个方向找到候选虚线或2个方向都未找到候选虚线时，则丢弃该像素点；当在2个方向都找到候选虚线时，则确认该候选虚线为实际虚线，并将虚线的像素值标记为2，同时搭接两个方向上的区域，搭接
直线上的像素同样标记为2，得到只有三种像素值的第三处理图，其中0记为背景区域，1记为实线区域，2记为虚线和搭接线区域。
[0091]
s5.子图提取，根据所述第三处理图，利用联通区域聚类算法对所述背景区域进行联通区域聚类，并根据
[0092]
来计算所述区域的包围率，取最大包围率区域，所述最大包围率区域的包围率大于90％或者对应的虚线部分存在未被使用过的点，该区域即提取为子图。
[0093]
这里需要注意的是，包围率大于90％，首先这是一个经验值，是一个比较接近100％的值。如果包围率是100％，说明是一个完整的区域，一定会被判定为子图区域；但是有时候存在大部分虚线，小部分实线的区域共同组成一个区域的情况。
[0094]
对于如何判断对应的虚线部分存在未被使用过的点，处理的时候会有很多区域，按照包围率排序的循环中，对应区域会一个一个处理，如果在这个循环中，该区域被判定为子图区域，则涉及的虚线都会被标记为“使用过”；若未处理过，则判断为对应的虚线部分存在未被使用过的点。
[0095]
优选的，所述原始图记为p
nm
，其中：n是图像宽度，m是图像高度；p
ij
是图像p
nm
的一个像素点，(i,j)是该点的位置坐标。
[0096]
具体的，原始图：p
nm
：p
ij
(0≤i＜n，0≤j＜m)，其中p
nm
表示原始图，n是图像宽度，m是图像高度。p
ij
是图像p
nm
的一个像素点，(i,j)是该点的位置坐标。
[0097]
假设原始图的面积n
×
m大于400000(大约632
×
632)，需要对图像进行缩小处理，以便于用统一的算法解决问题。面积阈值设定为400000，如果设置太小，可能回丢失虚线信息，如果设置太大，会影响处理的效率。
[0098]
另外，缩小算法不能使用最邻近插值、双线性插值、4
×
4邻域双3次插值等，这两种插值算法会丢失虚线信息，本实施例中，优选的采用基于区域像素关系的重采样算法，对应opencv的inter_area方式。
[0099]
同时，如果缩小幅度太大，不能直接缩小，因为如果缩小幅度太剧烈会造成图像失真。
[0100]
在步骤s1中，优选的，通过缩小算法缩小原始图，所述至少两次缩小原始图p
nm
，是指之前的缩小幅度设置为0.8，最后一次缩小至目标尺寸的数值，最后一次的缩小幅度在0.8～1.0之间。这里的目标尺寸的数值，如是100万像素，也就是说要把原始图像按照原始宽高比缩放至该面积。如果对于正方形，就是1000x1000。
[0101]
二值化过程为：灰度值后使用otsu算法，其基本思想是用某一假定的灰度值t将图像的灰度分为两组，当两组的类间方差最大时，此灰度值t就是图像二值化的最佳阈值。为了防止出现反色图，如果前景像素点的数量超过50％，则进行强制反色处理。该步骤之后，如果是前景像素，其值为1；否则其值为0。
[0102]
优选的，在步骤s2中，所述灰度值t将图像的灰度分为两组，当两组的类间方差最大时，所述灰度值t就是图像二值化的最佳阈值；为了防止出现反色图，前景像素点的数量超过50％，则进行强制反色处理，并设定前景像素的灰度值t为1，其他的灰度值t为0。
[0103]
本发明主要通过像素点的宽度来判断图像是否是线条图。在本实施例，在步骤s3
线条图判断步骤中，具体包括以下判断步骤：
[0104]
(1)对于每一个p
ij
＝1的所述前景像素，从4个方向计算所述前景像素的宽度，取最小值w作为所述前景像素的宽度；其中，4个方向分别是竖直、水平、45度方向和135度方向；
[0105]
其中，以水平方向为例计算宽度，包括：
[0106]
a.向左搜索，直到遇到p
kj
＝0，如遇到左边界，k＝-1；
[0107]
b.向右搜索，直到遇到p
lj
＝0，如遇到右边界，l＝n；
[0108]
c.该像素在水平方向的宽度为：l-k-1。
[0109]
(2)计算所有所述前景像素的宽度均值avg(w)；并设定w(0.99)，其表示计算99％的像素宽都小于w(0.99)；
[0110]
(3)根据作为判断依据，
[0111]
如果的话，则认为该图是线条图，否则不是线条图，停止处理。符合条件时则认为该图是线条图，则进行下一步s4；不符合条件时，则不是线条图，进入其他程序或返回到步骤s1处理其他图片；其中a1，a2为经验值，且a1 a2＝1；n是图像宽度，m是图像高度。a1，a2为经验值的取值的标准是对图片没有特别的要求；如优选的实际分别取0.4和0.6。在实际应用中，发现宽度特别不均匀的时候，均值判定有时候不准确，因此引入了w(0.99),如果99％的线条宽度都小于某值的话，说明是细线条。
[0112]
本发明中主要利用候选虚线判断准则判断图像的某一区域是否是候选虚线。
[0113]
在本实施例，在步骤s4候选虚线检测中，所述图像线条宽度d的计算公式为d＝a1×
avg(w) a2×
w(0.99)；
[0114]
采用的所述联通区域聚类算法为区域生长的算法；
[0115]
所述像素数量、矩形面积、宽度、高度、像素点列表对应的聚类ci，如下：
[0116]ci
(count)表示该区域的像素数量；
[0117]ci
(area)表示该区域的矩形面积；
[0118]ci
(width)表示该区域的宽度；
[0119]ci
(height)表示该区域的高度；
[0120]ci
(points)获得该区域的像素点列表。
[0121]
在本发明中，对于候选虚线的选定，利用虚线确认准则，进行判断。
[0122]
具体的候选虚线的选定，通过如下规则进行判断：
[0123]ci
(area)＜100d，即虚线部分的面积小于d
×
10d；
[0124]
min(ci(width),ci(height))＜2d，即虚线部分的短边宽度小于2d；如果满足上述条件，该区域称为候选虚线。
[0125]
本发明通过包围率算法，提取实际子图。如图2所示，本发明提供的一种图片中的虚实线局部区域的提取方法中子图提取步骤的具体流程图。
[0126]
其中，优选的，在所述s5.子图提取步骤中，具体提取过程如下：
[0127]
根据所述第三处理图，利用联通区域聚类算法对所述背景区域进行联通区域聚类，将所有与所述虚线区域相接的区域全部标记为未处理，并根据
[0128]
来计算所述未处理区域的包围率，将包围率从大
到小的方式进行排序；
[0129]
取出其中包围率最大的一个区域，判断包围率大于90％或者区域对应的虚线部分存在未被使用过的点，提取该未处理区域即为子图，同时将该未处理区域标记为已处理，再进入下一个未处理区域的判断；判断不符合上述判断标准时，不对该未处理区域进行处理，将该区域标记为已处理，直接进入下一个未处理区域的判断；
[0130]
当穷尽所有未处理的区域，全部为已处理时，提取子图流程结束，从而完成所有子图的提取。
[0131]
实际应用中，提取实线区域的子图和提取虚线区域的子图算法是一样的，所以本实施例在这里只介绍如何提取虚线部分的子图。需要注意的是，关于实线保护区域的子图提取，具体的处理方式是对缩放后的图像进行虚实线交换的方式，即通过算法将虚线部分转化成实线，把实现部分转化成虚线后，再用本发明的方式进行处理。
[0132]
除了上述方法外，本发明还提供一种图片中的虚实线局部区域的提取装置，如图3所示，包括：
[0133]
图片预处理模块101，用于将图片原始图进行尺寸规格化，通过缩小算法多次缩小原始图得到第一处理图；
[0134]
二值化处理模块102，用于利用otsu算法将所述第一处理图进行二值化，判断当两组的类间方差最大时，此时灰度值为所述第一处理图二值化的最佳阈值，所述灰度值将图像的灰度分为两组，并设定其中一组前景像素的值为1，另一组其值为0，得到第二处理图；
[0135]
线条图判断模块103，用于根据所述前景像素计算所述第二处理图的图像线条宽度，使用所述图像线条宽度来进行线条图判断，当判断不是线条图时，进入其他程序模块，并返回至所述图片与处理模块处理下一图；当判断是线条图时，则进行下一程序模块；
[0136]
候选虚线检测模块104，用于利用联通区域聚类算法对所述第二处理图的前景像素点进行聚类，采用8联通的方式进行判断，同时记录每个区域面积和长宽比，以及获取该区域的像素数量、矩形面积、宽度、高度、像素点列表；选择虚线部分的面积小于d
×
10d以及虚线部分的短边宽度小于2d的区域设定为候选虚线，其中，d为图像线条宽度；
[0137]
虚线确认与搭接模块105，用于利用hough变换算法计算所述像素点列表中这些点确定的直线，在所述直线的2个方向的90度和10d范围内寻找其余候选虚线；当在1个方向找到候选虚线或2个方向都未找到候选虚线时，则丢弃该像素点；当在2个方向都找到候选虚线时，则确认该候选虚线为实际虚线，并将虚线的像素值标记为2，同时搭接两个方向上的区域，搭接直线上的像素同样标记为2，得到只有三种像素值的第三处理图，其中0记为背景区域，1记为实线区域，2记为虚线和搭接线区域；
[0138]
子图提取模块106，用于根据所述第三处理图，利用联通区域聚类算法对所述背景区域进行联通区域聚类，并根据
[0139]
来计算所述区域的包围率，取最大包围率区域，所述最大包围率区域的包围率大于90％或者区域对应的虚线部分存在未被使用过的点，该区域即提取为子图。
[0140]
在本实施例中还包括一种电子装置，该装置包括存储器、处理器，所述存储器上存储有可在所述处理器上运行如本实施例提供的一种图片中的虚实线局部区域的提取装置
的配置程序系统，所述配置程序被所述处理器执行时可以实现如本实施例所述的一种图片中的虚实线局部区域的提取方法。
[0141]
在本实施例中还包括一种计算机可读存储介质，所述计算机可读的存储介质上存储有如本市实施例提供的一种图片中的虚实线局部区域的提取装置的配置程序，所述配置程序可以被一个或多个处理器执行，以实现如本实施例所述的一种图片中的虚实线局部区域的提取方法。
[0142]
除上述实施例外，本发明还提供一种针对外观设计专利检索中的虚实线局部外观设计图的处理方法，如图4所示，为该处理方法的步骤流程图。
[0143]
该方法利用本发明所述的虚实线局部区域的提取方法(包括上述步骤s1-s6)来提取出外观设计专利检索中的虚实线局部外观设计图中的局部保护区域，即子图；包括以下步骤：
[0144]
s01，外观设计预处理，对于外观设计的申请信息进行提取处理；这里主要是指常规处理，比如提取著录项目信息、重新组织文件存储方式，提取缩略图等。
[0145]
s02，根据提取的信息判断是否为局部外观设计，当判断是局部外观设计时，进入下一步；否者，不做处理；具体采用：根据著录项目信息中的“简要说明”是否包含“局部保护”、“保护实线部分”、“保护虚线部分”等去进行识别。
[0146]
s03，将s02所述局部外观设计图作为原始图，利用本发明所述的虚实线局部区域的提取方法(包括上述步骤s1-s6)对局部外观设计图进行子图的提取；其中，在所述线条图判断步骤中，根据所述前景像素计算所述第二处理图的图像线条宽度，使用所述图像线条宽度来进行线条图判断，当判断不是线条图时，进入其他程序。这里所述的其他程序是指：局部设计申请人需要按照申请指南的要求，提供符合规定的外观设计视图及与之相对应的视图说明(简要说明中)。如果计算机判断简要说明与视图实际情况不符，需要进行人工判断，如果人工判断确实不符合要求，需要申请人进行补证、修改或者说明。
[0147]
s04，将所述提取的子图进行扩充，将扩充出来的子图与按照常规原有非局部设计图的相同的方式进行处理。
[0148]
提取出子图后，对外观设计的专利的视图进行扩充，按照扩充后的视图进行后续的处理，也就是说把扩充出来的子图与原有视图按照相同的方式进行处理。举个例子，如果待检专利是一个局部零件，对比专利是一个带有这个局部零件的局部设计。按照原来的算法，这两件专利是无法匹配上的(全局相似度极低)；但是如果对比设计提取了子图并按照扩充视图的方式进行处理之后，这两件专利就可以正确匹配上了。
[0149]
优选的，本发明还提供一种针对外观设计专利检索中的虚实线局部外观设计图的处理装置，如图5所示，为该处理装置的配置程序模块图。
[0150]
包括以下模块：
[0151]
预处理模块01，用于外观设计预处理，对于外观设计的申请信息进行提取处理；
[0152]
局部外观设计筛选模块02，用于根据提取的信息判断是否为局部外观设计，当判断是局部外观设计时，进入下一步；否者，不做处理；
[0153]
提取子图模块03，用于将所述局部外观设计图作为原始图，利用本发明所述的一种图片中的虚实线局部区域的提取装置(包括上述模块101-106)进行子图的提取；根据所述前景像素计算所述第二处理图的图像线条宽度，使用所述图像线条宽度来进行线条图判
断，当判断不是线条图时，进入其他程序模块。
[0154]
所述其他程序是指：局部设计申请人需要按照申请指南的要求，提供符合规定的外观设计视图及与之相对应的视图说明(简要说明中)。如果计算机判断简要说明与视图实际情况不符，需要进行人工判断，如果人工判断确实不符合要求，需要申请人进行补证、修改或者说明。
[0155]
这里需要说明的是，在本实施例中所述提取子图模块03包括本发明提供的一种图片中的虚实线局部区域的提取装置(包括上述模块101-106，如附图3)，但是在实际应用中，本发明提供的一种图片中的虚实线局部区域的提取装置不局限于应用在虚实线结合的局部外观设计中，还应当包括本领域技术人员所能理解的其他虚实线结合图片领域的应用。
[0156]
子图扩充模块04，用于将所述提取的子图进行扩充，将扩充出来的子图与按照常规原有非局部设计图的相同的方式进行处理。
[0157]
这里结合具体实施例对本发明所述的一种针对外观设计专利检索中的虚实线局部外观设计图的处理方法进行展示。
[0158]
进一步的，在所述第三步，所述局部外观设计图作为原始图，利用本发明所述的虚实线局部区域的提取方法进行子图的提取，包括以下过程：
[0159]
图片预处理，将图片原始图进行尺寸规格化，缩小原始图得到第一处理图。
[0160]
原始图：p
nm
：p
ij
(0≤i＜n，0≤j＜m)，其中p
nm
表示原始图，n是图像宽度，m是图像高度。p
ij
是图像p
nm
的一个像素点，(i,j)是该点的位置坐标。
[0161]
假设原始图的面积n
×
m大于400000(大约632
×
632)，需要对图像进行缩小处理，以便于用统一的算法解决问题。面积阈值设定为400000，如果设置太小，可能回丢失虚线信息，如果设置太大，会影响处理的效率。
[0162]
另外，缩小算法不能使用最邻近插值、双线性插值、4
×
4邻域双3次插值等，这两种插值算法会丢失虚线信息，本发明采用基于区域像素关系的重采样算法，对应opencv的inter_area方式。
[0163]
同时，如果缩小幅度太大，不能直接缩小，因为如果缩小幅度太剧烈会造成图像失真。本发明设计多次缩小方式，前几次的缩小幅度设置为0.8，最后一次缩小至设计值，最后一次的缩小幅度在0.8～1.0之间。
[0164]
二值化处理以及线条图判断，这一步首先进行二值化，然后进行线条图判断，如果不是线条图，说明该外观设计专利的简要说明和实际的视图不匹配，需要申请人补证或者进行说明。
[0165]
如图6所示，本发明提供的一种针对外观设计专利检索中的虚实线局部外观设计图的处理方法中经过二值化后的，所述第二处理图的一种展示图。其中，二值化包括：灰度值后使用otsu算法，其基本思想是用某一假定的灰度值t将图像的灰度分为两组，当两组的类间方差最大时，此灰度值t就是图像二值化的最佳阈值。为了防止出现反色图，如果前景像素点的数量超过50％，则进行强制反色处理。该步骤之后，如果是前景像素，其值为1；否则其值为0。
[0166]
线条图判断：使用图像线条宽度来进行线条图判断。
[0167]
(1)对于每一个p
ij
＝1的像素，从4个方向计算该像素的宽度，取最小值w作为该像素的宽度。4个方向分别是竖直、水平、45度方向和135度方向。以水平方向为例计算宽度：
[0168]
向左搜索，直到遇到p
kj
＝0，如遇到左边界，k＝-1；
[0169]
向右搜索，直到遇到p
lj
＝0，如遇到右边界，l＝n；
[0170]
该像素在水平方向的宽度为：l-k-1。
[0171]
(2)计算所有前景像素的宽度均值avg(w)；
[0172]
(3)w(0.99)表示计算99％的像素宽都小于w(0.99)；
[0173]
(4)如果的话，则认为该图是线条图，否则不是线条图，停止处理。其中a1，a2为经验值，且a1 a2＝1，本发明取a1＝0.6，a2＝0.4。
[0174]
如果该图是线条图不是，说明该外观设计专利的简要说明和实际的视图不匹配，需要申请人补证或者进行说明。
[0175]
候选虚线检测，具体包括：
[0176]
计算d＝a1×
avg(w) a2×
w(0.99)，标记为图像线条宽度。
[0177]
使用联通区域聚类算法对前景像素点进行聚类，这里采用8联通的方式进行判断，同时记录每个区域面积和长宽比。
[0178]
本实施例优选采用区域生长的算法，该算法为通用算法，就不再详述，每个聚类ci有如下的属性或者方法：
[0179]ci
(count)表示该区域的像素数量；
[0180]ci
(area)表示该区域的矩形面积；
[0181]ci
(width)表示该区域的宽度；
[0182]ci
(height)表示该区域的高度；
[0183]ci
(points)获得该区域的像素点列表；
[0184]
其中，候选虚线判断准则：
[0185]ci
(area)＜100d，即虚线部分的面积小于d
×
10d；min(ci(width),ci(height))＜2d，即虚线部分的短边宽度小于2d；
[0186]
如果满足上述条件，该区域称为候选虚线。
[0187]
虚线确认与搭接，具体包括：
[0188]
对于上述计算出来的候选虚线，有的可能不是真实的虚线，是噪声点。本实施例这里优选：每一个真实虚线的10d范围内，必有其余虚线，具体步骤如下。
[0189]
(1)利用hough变换算法计算ci(points)这些点确定的直线
[0190]
(2)在直线的2个方向的90度和10d范围内寻找其余候选虚线
[0191]
(3)如果找到了2个方向的候选虚线，则表示确认该候选虚线为实际虚线
[0192]
(4)如果只找到1个方向上的候选虚线，则在另一个方向上寻找前景点，如果找到，则该虚线为与实线交界点的虚线，同样确认该候选虚线为实际虚线；如果没有找到，则丢弃该候选虚线
[0193]
(5)如果没有找到其他候选虚线，说明这是一个孤立噪声点，做丢弃处理
[0194]
(6)对于确认的实际虚线，将虚线的像素值标记为2，同时连接两个方向上的区域，连接直线上的像素同样标记为2
[0195]
如图7所示，本发明提供的一种针对外观设计专利检索中的虚实线局部外观设计图的处理方法中经过虚线确认与搭接后的，所述第三处理图的一种展示图；此时的图像只
有3种像素值，0是背景，1是实线，2是虚线和搭接线。
[0196]
子图提取，考虑到提取实线区域的子图和提取虚线区域的子图算法是一样的，且局部外观设计图的特性，所以本实施例在这里只介绍如何提取虚线部分的子图。
[0197]
(1)用与候选虚线检测步骤相同的算法，对背景区域(p
ij
＝0)进行联通区域聚类，只关注与虚线区域相接的区域，将所有相关区域全部标记为未处理。候选虚线检测时，对前景点进行聚类，每一个虚线点都是一个联通区域，通过这些区域的特点；而在做子图提取的时候，首先要对虚线进行搭接，搭接后就对背景区域进行了隔离，然后对背景点进行聚类。
[0198]
(2)统计所有未处理的区域，如果全部已处理，流程结束。
[0199]
(3)计算相关区域的包围率，本发明中：然后按照包围率从大到小的方式排序；如图8所示，本发明提供的一种针对外观设计专利检索中的虚实线局部外观设计图的处理方法中，子图提取过程中的包围率从大到小的排序展示图；其中1表示所有与虚线区域相接的区域；2表示包围率为100％的区域；3表示包围率小于100％的区域。
[0200]
(4)取出其中包围率最大的一个区域；
[0201]
(5)如果包围率大于90％或者对应的虚线部分存在未被使用过的点，确认区域为子图，同时将对应的虚线部分的值修改为p
ij
＝3，表示这些虚线部分点已经被使用过，将该区域标记为已处理，调转到(2)；否则，不处理该区域，将该区域标记为已处理，也调转到(2)。
[0202]
如图9所示，本发明提供的一种针对外观设计专利检索中的虚实线局部外观设计图的处理方法中，提取的子图展示图。
[0203]
在本实施例中还包括一种电子装置，该装置包括存储器、处理器，所述存储器上存储有可在所述处理器上运行如本实施例提供的一种针对外观设计专利检索中的虚实线局部外观设计图的处理装置的配置程序系统，所述配置程序被所述处理器执行时可以实现如本实施例所述的一种针对外观设计专利检索中的虚实线局部外观设计图的处理方法。
[0204]
在本实施例中还包括一种计算机可读存储介质，所述计算机可读的存储介质上存储有如本市实施例提供的一种针对外观设计专利检索中的虚实线局部外观设计图的处理装置的配置程序，所述配置程序可以被一个或多个处理器执行，以实现如本实施例所述的一种针对外观设计专利检索中的虚实线局部外观设计图的处理方法。
[0205]
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。