一种纸张缺陷检测方法、系统、装置及计算机存储介质与流程

1.本发明涉及机器视觉领域，尤其涉及一种纸张缺陷检测方法、系统、装置及计算机存储介质。


背景技术：

2.纸张在生产完成后可能存在一些缺陷，例如刮痕、黑斑、孔洞、油斑等，因此有必要在投入市场或深加工前进行缺陷检测。
3.目前对于纸张缺陷的检测可以分为两种，一种是通过人工视力观察的方式来完成的，速度慢，效率低下，人工成本高、且容易出现误判。
4.另一种是机器辅助人工质检的方式，先通过有一定判断能力的机器质检系统过滤掉没有缺陷的纸张图像，在通过人工质检依据视力判断疑似有缺陷的纸张图像。
5.自动缺陷识别装置目前绝大多数图像处理都基于x86的计算平台，然而x86平台的cpu有着较高的散热需求，所以工业控制系统需要配置齐全的散热装置，如散热器、风扇、循环冷却系统等，所以采用x86平台做出来的工业控制器通常都具有庞大的体积与较高的成本。


技术实现要素：

6.为了解决上述技术问题，针对以上问题点，本发明公开了一种纸张缺陷检测方法、装置及计算机存储介质，解决了现有技术中纸张缺陷的检测通过人工视力观察缺陷方式，速度慢，效率低下，人工成本高、误判率高的问题。
7.为了达到上述目的，本发明公开了一种纸张缺陷检测方法，包括：
8.拍摄待测纸张的彩色图像；
9.采用opencv算法和hough变换方法进行图像处理和特征提取；
10.将待测纸张的彩色图像转换成hsv模型，通过各种瑕疵的颜色特征设置相应的参数来提取不同颜色，生成对应的二值化图像；
11.通过计算所述二值化图像中的白色像素点数量来判断纸张表面是否存在相应的颜色，进而判断是否存在黑斑、油斑和孔洞；
12.将待测纸张的彩色图像进行灰度化、高斯模糊、梯度化、二值化、通过函数去除孤立点和干扰点，再进行膨胀处理，最后通过hough变换方法提取图像中的直线，进而判断是否有划痕存在。
13.在一个实施例中，所述纸张缺陷检测方法，还包括：将各个缺陷的检测情况汇总，语音播报检测出的纸张缺陷种类和状态。
14.在一个实施例中，将待测纸张的彩色图像转换成hsv模型，通过各种瑕疵的颜色特征设置相应的参数来提取不同颜色，生成对应的二值化图像；包括：
15.对各种颜色hsv数值划分阈值设定，将rgb空间模型转换至hsv空间模型；
16.找寻不同斑点颜色在要求区间内的颜色，当得到获得所需的颜色信息，
17.将其他不需要的颜色过滤来识别缺陷类型。
18.在一个实施例中，所述将待测纸张的彩色图像进行灰度化处理、滤波去噪、图像二值化处理、通过函数去除孤立点和干扰点，再进行膨胀处理，最后通过hough变换方法提取图像中的直线，进而判断是否有划痕存在，包括：
19.将待测纸张的彩色图形进行灰度化处理，选择高斯核滤波去噪，采用 sobel算子对划痕缺陷进行边缘提取，判断此处是否为划痕边缘点；对图像二值化处理，映射到霍夫空间，取局部极大值，设定阈值，过滤干扰直线；绘制直线、标定角点，检测划痕缺陷。
20.在一个实施例中，所述灰度化处理，包括：使用单通道算法对图像进行灰度处理，仅取每个像素点的rgb三通道中的g分量作为灰度值，灰度变换式为:gray＝g。
21.在一个实施例中，所述采用sobel算子对划痕缺陷进行边缘提取，包括：
22.图像中各个像素的上、下、左、右几个相邻区域的灰度值进行加权差运算；利用其在边缘处达到的极值实现边缘的检测；
23.依据下述公式1和公式2计算像素在x方向的卷积以及y方向的卷积；
[0024][0025][0026]
其中sobel算子的卷积模板是：
[0027][0028]
在一个实施例中，所述通过hough变换方法提取图像中的直线，包括：对经过sobel算子处理后的梯度化图像再次进行二值化处理；记录每个像素点检验状态的标签，去除孤立点和干扰点；对去点后的划痕二值化图像进行膨胀处理，以使得划痕特征更明显；对膨胀后的图像可进行hough直线检测，得到划痕轮廓的直线。
[0029]
本发明实施例还提供一种纸张缺陷检测系统，所述系统包括：
[0030]
图像采集模块：用于拍摄待测纸张的彩色图像；
[0031]
图像处理与特征提取模块：用于采用opencv算法和hough变换方法进行图像处理和特征提取；
[0032]
缺陷检测模块；用于将待测纸张的彩色图像转换成hsv模型，通过各种瑕疵的颜色特征设置相应的参数来提取不同颜色，生成对应的二值化图像；
[0033]
通过计算所述二值化图像中的白色像素点数量来判断纸张表面是否存在相应的颜色，进而判断是否存在黑斑、油斑和孔洞；
[0034]
将待测纸张的彩色图像进行灰度化、高斯模糊、梯度化、二值化、通过函数去除孤立点和干扰点，再进行膨胀处理，最后通过hough变换方法提取图像中的直线，进而判断是否有划痕存在；
[0035]
语音播报模块：用于将各个缺陷的检测情况汇总，语音播报检测出的纸张缺陷种
类和状态。
[0036]
本发明实施例还提供一种纸张缺陷检测装置，包括：am5708主控芯片、 rs232驱动芯片、语音播报模块、nand flash存储器、ram芯片、hdmi接口保护芯片、hdmi显示器、phy芯片、网口、sd卡、摄像机、鼠标、键盘、继电器模块、光源；
[0037]
所述语音播报模块通过rs232驱动芯片与am5708主控芯片电连接；
[0038]
所述nand flash存储器与am5708主控芯片电连接；
[0039]
所述ram芯片与am5708主控芯片电连接；
[0040]
所述hdmi显示器通过hdmi接口保护芯片与am5708主控芯片电连接；
[0041]
所述网口通过phy芯片与am5708主控芯片电连接；
[0042]
所述sd卡与am5708主控芯片电连接；
[0043]
所述摄像机通过usb接口与am5708主控芯片电连接；
[0044]
所述鼠标、键盘通过usb接口与am5708主控芯片电连接；
[0045]
所述光源通过继电器模块与am5708主控芯片电连接；
[0046]
所述语音播报模块，包括：控制器、串口收发模块、语音合成模块、语音线输出模块、功率放大器、喇叭；
[0047]
所述am5708主控芯片存有程序指令，执行前面任一所述的纸张缺陷检测方法。
[0048]
本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器所执行时执行前面任一所述的纸张缺陷检测方法。
[0049]
实施本发明实施例，具有如下有益效果：
[0050]
本发明提供的一种纸张缺陷检测方法，采用的是基于opencv的机器视觉表面检测方法，针对不同的缺陷类型使用不同的检测方法，针对黑斑、油斑、孔洞纸张缺陷，通过提取颜色特征进行检测；针对划痕的纸张缺陷，通过图像采集系统采集缺陷图像，先对图像进行预处理，包括灰度处理、中值滤波，采用hough变换方法提取形状特征，进行匹配，最后进行缺陷的识别和分类，检测效率较高，人工成本较低，且检测准确率较高。解决了现有技术中纸张缺陷的检测通过人工视力观察缺陷方式，速度慢，效率低下，人工成本高、误判率高的问题。
[0051]
本发明实施例提供的一种纸张缺陷检测装置，在光源的照明下，通过摄像机将纸张缺陷拍摄下来，将光信号转换为电信号再转换为计算机处理的信号，传输至am5708主控芯片进行纸张缺陷识别，hdmi显示器用于显示缺陷类型、位置、大小、形状；鼠标、键盘控制标定缺陷；网口用于装置连接网络，进行缺陷数据传输；语音播报模块用于播报识别到的纸张缺陷种类，采用am5708主控芯片可以把工业控制器的尺寸缩减到智能手机那般大小，通过在arm平台对所拍摄的图像进行图像处理，判断待检测纸张是否存在缺陷，并且本系统所采用的嵌入式架构方案相比于pc机平台功耗和成本更低，检测效率较高，人工成本较低，且检测准确率较高。
附图说明
[0052]
为了更清楚地说明本发明所述的本发明公开了一种纸张缺陷检测方法、系统、装置及计算机存储介质，下面将对实施例所需要的附图作简单地介绍，显而易见地，下面描述
中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
[0053]
图1为本发明实施例提供的一种纸张缺陷检测方法的流程图；
[0054]
图2为本发明实施例提供的一种纸张缺陷检测系统的结构示意图；
[0055]
图3为本发明实施例提供的一种纸张缺陷检测装置的硬件结构示意图；
[0056]
图4为本发明实施例提供的一种纸张缺陷检测装置的语音播报模块的硬件结构示意图；
[0057]
图5为本发明实施例提供的一种纸张缺陷检测方法的纸张缺陷原始图举例；
[0058]
图6为图5中缺陷原始图转换为hsv空间模型后的二值化图；
[0059]
图7为本发明实施例提供的一种纸张缺陷检测方法的纸张缺陷划痕原始图和应用本实施例方法的灰度处理后的图；
[0060]
图8为图7经过高斯滤波的效果图；
[0061]
图9为图8经过sobel算子梯度化效果图；
[0062]
图10为图9的普通二值化处理效果图；
[0063]
图11为图10去除孤立点和干扰点后的效果图；
[0064]
图12为图11膨胀处理后的效果图；
[0065]
图13为图12hough直线检测，得到划痕轮廓的直线图；
[0066]
图14为膨胀操作原理图。
具体实施方式
[0067]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0068]
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0069]
请参阅图1，为了达到上述目的，本发明提供了本发明公开了一种纸张缺陷检测方法，包括：
[0070]
本发明公开了一种纸张缺陷检测方法，包括：
[0071]
s101.拍摄待测纸张的彩色图像；
[0072]
s102.采用opencv算法和hough变换方法进行图像处理和特征提取；
[0073]
s103.将待测纸张的彩色图像转换成hsv模型，通过各种瑕疵的颜色特征设置相应的参数来提取不同颜色，生成对应的二值化图像；
[0074]
首先将图像从rgb颜色空间转化成视觉均衡的颜色空间(如hsv空间)，并将颜色空
间量化成若干个柄(bin)。然后，用色彩分割技术将图像分为若干区域，每个区域用量化颜色空间的某个颜色分量来索引，从而将图像表达为一个二进制的颜色索引集。在图像匹配中，比较不同图像颜色集之间的距离和色彩区域的空间关系。因为颜色集表达为二进制的特征向量，加快了检索速度，对于纸张缺陷实时检测十分有利；
[0075]
s104.通过计算所述二值化图像中的白色像素点数量来判断纸张表面是否存在相应的颜色，进而判断是否存在黑斑、油斑和孔洞；
[0076]
s105.将待测纸张的彩色图像进行灰度化、高斯模糊、梯度化、二值化、通过函数去除孤立点和干扰点，再进行膨胀处理，最后通过hough变换方法提取图像中的直线，进而判断是否有划痕存在。
[0077]
在一个说明书实施例中，所述纸张缺陷检测方法，还包括：将各个缺陷的检测情况汇总，语音播报检测出的纸张缺陷种类和状态。
[0078]
如图5和图6所示，在一个说明书实施例中，将待测纸张的彩色图像转换成hsv模型，通过各种瑕疵的颜色特征设置相应的参数来提取不同颜色，生成对应的二值化图像；包括：
[0079]
对各种颜色hsv数值划分阈值设定，将rgb空间模型转换至hsv空间模型；
[0080]
找寻不同斑点颜色在要求区间内的颜色，当得到获得所需的颜色信息，
[0081]
将其他不需要的颜色过滤来识别缺陷类型。
[0082]
例如，找寻不同斑点颜色在要求区间内的颜色，将被测纸张放在蓝色背景下，黑斑索引颜色为黑色，油斑索引颜色为橙色(油斑一般为橙色或者黄色)，孔洞索引颜色为蓝色(当前选定背景为蓝色，一旦有孔洞，孔洞区域即为背景色)。
[0083]
如图7至图13所示，在一个说明书实施例中，所述将待测纸张的彩色图像进行灰度化处理、滤波去噪、图像二值化处理、通过函数去除孤立点和干扰点，再进行膨胀处理，最后通过hough变换方法提取图像中的直线，进而判断是否有划痕存在，包括：
[0084]
将待测纸张的彩色图形进行灰度化处理，选择高斯核滤波去噪，采用 sobel算子对划痕缺陷进行边缘提取，判断此处是否为划痕边缘点；对图像二值化处理，映射到霍夫空间，取局部极大值，设定阈值，过滤干扰直线；绘制直线、标定角点，检测划痕缺陷；
[0085]
在对划痕缺陷图像进行hough变换检测之前，需要预先对采集的原始图像进行预处理工作，在满足hough直线变换对图像处理的要求的同时，改善图片质量，滤除不需要的图像特征，减少对hough变换检测处理的数据量，达到准确识别和系统的实时性要求。
[0086]
在一个说明书实施例中，所述灰度化处理，包括：使用单通道算法对图像进行灰度处理，仅取每个像素点的rgb三通道中的g分量作为灰度值，灰度变换式为:gray＝g。
[0087]
在一个说明书实施例中，所述采用sobel算子对划痕缺陷进行边缘提取，包括：
[0088]
图像中各个像素的上、下、左、右几个相邻区域的灰度值进行加权差运算；利用其在边缘处达到的极值实现边缘的检测；
[0089]
依据下述公式1和公式2计算像素在x方向的卷积以及y方向的卷积；
[0090][0091]
[0092][0093]
其中sobel算子的卷积模板是：
[0094][0095]
在一个说明书实施例中，所述通过hough变换方法提取图像中的直线，包括：对经过sobel算子处理后的梯度化图像再次进行二值化处理；记录每个像素点检验状态的标签，去除孤立点和干扰点；对去点后的划痕二值化图像进行膨胀处理，以使得划痕特征更明显；对膨胀后的图像可进行hough直线检测，得到划痕轮廓的直线；
[0096]
所述膨胀就是求局部最大值的操作，如图14所示为膨胀原理图，核b与图形卷积，即计算核b覆盖的区域的像素点的最大值，并把这个最大值赋值给参考点指定的像素，这样就会使图像中的高亮区域逐渐增长。
[0097]
如图2所示，本发明实施例还提供一种纸张缺陷检测系统，所述系统包括：
[0098]
图像采集模块：用于拍摄待测纸张的彩色图像；
[0099]
图像处理与特征提取模块：用于采用opencv算法和hough变换方法进行图像处理和特征提取；缺陷检测模块；用于将待测纸张的彩色图像转换成hsv模型，通过各种瑕疵的颜色特征设置相应的参数来提取不同颜色，生成对应的二值化图像；通过计算所述二值化图像中的白色像素点数量来判断纸张表面是否存在相应的颜色，进而判断是否存在黑斑、油斑和孔洞；将待测纸张的彩色图像进行灰度化、高斯模糊、梯度化、二值化、通过函数去除孤立点和干扰点，再进行膨胀处理，最后通过hough变换方法提取图像中的直线，进而判断是否有划痕存在；
[0100]
语音播报模块：用于将各个缺陷的检测情况汇总，语音播报检测出的纸张缺陷种类和状态。
[0101]
如图3、图4所示，本发明实施例还提供提供了一种纸张缺陷检测装置，包括：
[0102]
am5708主控芯片1
‑
1、rs232驱动芯片1
‑
2、语音播报模块1
‑
3、nandflash存储器1
‑
4、ram芯片1
‑
5、hdmi接口保护芯片1
‑
6、hdmi显示器1
‑
7、phy芯片1
‑
8、网口1
‑
9、sd卡1
‑
10、摄像机1
‑
12、鼠标、键盘1
‑
11、继电器模块1
‑
13、光源1
‑
14；
[0103]
所述语音播报模块1
‑
3通过rs232驱动芯片1
‑
2与am5708主控芯片1
‑
1电连接；
[0104]
所述nandflash存储器1
‑
4与am5708主控芯片1
‑
1电连接；
[0105]
所述am5708主控芯片可以选用：创龙am5708，am5708工业级核心板，集tidspc66x armcortex
‑
a15工业控制及可编程音视频处理器；
[0106]
所述nandflash存储器1
‑
4可以选用的型号为三星nandflashk9k8g08u0m；
[0107]
所述nandflash存储器1
‑
4为非易失性存储器用于存储程序和数据；
[0108]
所述ram芯片1
‑
5与am5708主控芯片1
‑
1电连接；
[0109]
所述ram芯片1
‑
5可以选用的芯片型号为三星k4b4g1646b；
[0110]
所述hdmi显示器1
‑
7通过hdmi接口保护芯片1
‑
6与am5708主控芯片1
‑
1电连接；
[0111]
所述hdmi接口保护芯片1
‑
6可以选用的芯片型号为：cm2020；
[0112]
所述网口1
‑
9通过phy芯片1
‑
8与am5708主控芯片1
‑
1电连接；用于进行检测装置数
据联网
[0113]
所述sd卡1
‑
10与am5708主控芯片1
‑
1电连接；
[0114]
所述摄像机1
‑
12通过usb接口与am5708主控芯片1
‑
1电连接，用于进行纸张缺陷拍摄；
[0115]
所述鼠标、键盘1
‑
11通过usb接口与am5708主控芯片1
‑
1电连接，用于进行缺陷图像控制和标定；
[0116]
所述光源1
‑
14通过继电器模块1
‑
13与am5708主控芯片1
‑
1电连接，所述光源1
‑
14用于辅助所述摄像机1
‑
12进行缺陷拍摄；所述am5708主控芯片1
‑
1通过所述继电器模块1
‑
13控制所述摄像机1
‑
12进行纸张缺陷拍摄。
[0117]
在一个说明书实施例中，所述语音播报模块1
‑
3，包括：控制器2
‑
1、串口收发模块2
‑
2、语音合成模块2
‑
3、语音线输出模块2
‑
4、功率放大器 2
‑
5、喇叭2
‑
6；
[0118]
所述语音播报模块可以选用北京宇音天下科技有限公司的syn6288芯片。
[0119]
在一个说明书实施例中，所述光源1
‑
14，可以为：
[0120]
环形光源、圆顶光源、同轴光源、平行背光源、环形无影光源。
[0121]
在一个说明书实施例中，所述am5708主控芯片存有程序指令，执行前面任一所述的纸张缺陷检测方法。
[0122]
本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器所执行时执行前面任一所述的纸张缺陷检测方法。
[0123]
实施本发明实施例，具有如下有益效果：
[0124]
本发明提供的一种纸张缺陷检测方法，采用的是基于opencv的机器视觉表面检测方法，针对不同的缺陷类型使用不同的检测方法，针对黑斑、油斑、孔洞纸张缺陷，通过提取颜色特征进行检测；针对划痕的纸张缺陷，通过图像采集系统采集缺陷图像，先对图像进行预处理，包括灰度处理、中值滤波，采用hough变换方法提取形状特征，进行匹配，最后进行缺陷的识别和分类，检测效率较高，人工成本较低，且检测准确率较高。解决了现有技术中纸张缺陷的检测通过人工视力观察缺陷方式，速度慢，效率低下，人工成本高、误判率高的问题。
[0125]
本发明实施例提供的一种纸张缺陷检测装置，在光源的照明下，通过摄像机将纸张缺陷拍摄下来，将光信号转换为电信号再转换为计算机处理的信号，传输至am5708主控芯片进行纸张缺陷识别，hdmi显示器用于显示缺陷类型、位置、大小、形状；鼠标、键盘控制标定缺陷；网口用于装置连接网络，进行缺陷数据传输；语音播报模块用于播报识别到的纸张缺陷种类，采用am5708主控芯片可以把工业控制器的尺寸缩减到智能手机那般大小，通过在arm平台对所拍摄的图像进行图像处理，判断待检测纸张是否存在缺陷，并且本系统所采用的嵌入式架构方案相比于pc机平台功耗和成本更低，检测效率较高，人工成本较低，且检测准确率较高。
[0126]
需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连
续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
[0127]
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置和服务器实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
[0128]
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
[0129]
以上所揭露的仅为本发明实施一种较佳实施例而已，当然不能以此来限定本发明实施之权利范围，因此依本发明实施权利要求所作的等同变化，仍属本发明所涵盖的范围。