一种自适应板材厚度的刨花板表面缺陷检测方法与流程

1.本发明涉及刨花板表面缺陷检测的技术领域，更具体地，涉及一种自适应板材厚度的刨花板表面缺陷检测方法。


背景技术：

2.刨花板表面缺陷是刨花板质量的重要影响因素，随着机械自动化的发展，刨花板表面缺陷检测系统对于刨花板品质把控、生产线效率提升具有重要价值。
3.生产线上刨花板速度达1.5～2m/s，刨花板表面缺陷检测系统通常采用线阵相机与线性光源配合完成缺陷图像采集。刨花板规格与客户需求有关，不同客户对于板材长度、宽度、厚度都有不同要求，但线阵相机与线性光源的配置参数均固定，不同厚度的刨花板图像亮度差别较大，较暗或过曝图像将影响缺陷检测效果。
4.常见的做法是在模型训练阶段对图像进行增强，增加或减少亮度，让模型适应不同的亮度变化，但此做法训练样本变化较小，导致模型泛化能力没有明显提升；基于生成对抗网络生成仿真图像的方式可提升训练样本丰富性，但生成样本的特征空间在现有样本周围，且容易生成歧义图像，改变缺陷类别语义，导致训练不收敛。


技术实现要素：

5.本发明针对现有技术不足，提供一种自适应板材厚度的刨花板表面缺陷检测方法，利用图像增强网络自主学习增强参数，将增强参数应用于原始图像得到增强图像，对增强图像进行实例分割得到分割结果；对原始图像与增强图像进行拼接，得到拼接图像，利用厚度分类网络进行不同板材厚度的分类，通过图像增强、实例分割与分类任务结合的多任务学习方式进行特征互补训练，以适应不同板材厚度的图像，提高特征可靠性，提升训练收敛稳定性，最终提升缺陷检测准确率。
6.一种自适应板材厚度的刨花板表面缺陷检测方法，包括以下步骤：
7.(1)数据集制作：收集海量刨花板表面缺陷的图片，设定缺陷类别；将所有图片按一定比例划分为训练集、验证集与测试集；将训练集和验证集的图片裁剪成若干个指定尺寸的分块图像；对分块图片依据缺陷类别进行语义分割标注；
8.(2)构建自适应板材厚度的多任务网络；所述多任务网络由输入模块、编码器、图像增强模块、实例分割模块、厚度分类模块构成；
9.所述输入模块用于将输入的分块图像的每个像素除以255得到[0,1]归一化后的输入图像，且输入图像中每个像素值设为p；
[0010]
所述图像增强模块用于通过图像增强法对输入图像进行自适应图像增强；所述图像增强法包括以下子步骤：
[0011]
增强学习子步骤，通过图像增强网络进行学习获得增强参数；
[0012]
图像增强子步骤，将增强参数应用于输入图像形成增强公式，将p带入增强公式后获得增强后的像素值p
′
；
[0013]
图像拼接子步骤，将p与p
′
按通道维度，依据拼接得到拼接图像
[0014]
所述实例分割模块采用网络结构为resnet-50的mask r-cnn算法，用于对图像增强子步骤获得的像素值p
′
进行特征提取，由mask r-cnn的检测框分支输出得到每个缺陷的矩形框，分类分支输出得到每个缺陷的类别，掩码分支输出得到每个缺陷的掩码，每个缺陷的实例分割结果包含矩形框、类别以及对应的掩码；
[0015]
厚度分类网络采用resnet-18网络，用于对输入图像的板材厚度进行分类，将拼接图像输入至resnet-18网络进行推理，对resnet-18网络最后一层的输出特征进行softmax归一化，得到每个厚度类别的可信度，选取可信度最高的类别作为该图像的板材厚度类别；
[0016]
(3)构建多任务网络损失函数：通过交叉熵损失函数及mask r-cnn的3个损失函数之和作为多任务网络损失函数；
[0017]
(4)模型训练：将训练集输入至步骤(2)中的多任务网络，采用步骤(3)中的多任务网络损失函数进行监督训练，训练过程中，将验证集输入至训练好的中间模型进行验证，获得训练好的模型参数；
[0018]
(5)模型推理：将步骤(4)中训练好的模型参数加载至步骤(2)的多任务网络，并将步骤(1)中测试集的刨花板表面缺陷图片进行滑窗裁剪成指定尺寸的分块图片，将分块图片依次输入至多任务网络进行推理，得到每个分块图片的输出结果，最后将每个分块图片的输出结果合并成整块结果。
[0019]
特别的，所述步骤(1)中，指定尺寸为800x800x1。
[0020]
特别的，所述缺陷类别包含大刨花、划痕、砂穿、粉尘斑、鼓泡、胶斑、裂缝、乌云斑、油污、缺边、缺角、凹坑。
[0021]
特别的，所述步骤(2)中，增强学习子步骤的具体方法为：采用图像增强网络是最后一层维度为1的resnet-18网络，通过以下公式计算出增强参数：
[0022][0023]
其中，图像增强网络最后一层特征为t，将t传入激活函数tanh(t)进行范围约束，得到增强参数α，且-1＜α＜1。
[0024]
特别的，所述步骤(2)中，图像增强子步骤的具体方法为：将通过增强学习子步骤学习到的增强参数α应用于输入图像，通过以下公式获得增强后的像素值p
′
：
[0025]
p
′
＝-αp2 (α 1)p；
[0026]
其中，p表示输入图像的单个像素值，0≤p≤1；p
′
表示对应的增强后的像素值，0≤p
′
≤1。
[0027]
特别的，所述步骤(2)中，图像拼接子步骤的具体方法为：将p与p
′
按通道维度拼接依据以下公式得到拼接图像
[0028][0029]
其中，p表示输入图像的单个像素值，0≤p≤1；p
′
表示对应的增强后的像素值，0≤p
′
≤1；表示p与p
′
按通道维度拼接后的图像，
[0030]
特别的，所述厚度类别为8mm、10mm、12mm、28mm、30mm、35mm。
[0031]
特别的，所述交叉熵损失函数为
[0032][0033]
其中，l
thickness
表示厚度分类网络损失函数，k表示类别数，qk表示对厚度类别经过one-hot编码的分类标签，qk∈{0,1}；当k为输入图像的真实厚度类别时，qk＝1，否则qk＝0；pk表示识别为类别k的概率，且0＜pk＜1；
[0034]
则通过交叉熵损失函数构成的厚度分类网络损失函数为
[0035]
l＝l
thickness
l
cis
l
box
l
mask
；
[0036]
其中，l为多任务损失，l
cls
为缺陷分类损失函数，l
box
为缺陷矩形框损失函数，l
mask
为掩码损失函数；l
cls
、l
box
、l
mask
为mask r-cnn的3个损失函数。
[0037]
特别的，所述步骤(4)中，采用步骤(3)中的厚度分类网络损失函数进行监督训练的具体方法为使用sgd优化器，图像增强模块在训练初期不稳定，采用warmup学习率调整策略进行模型训练，在训练初期以较低学习率进行训练，使网络逐渐适应输入的训练集数据，在训练过程中逐渐增大学习率，学习率增大到设定的基准学习率之后就从基准学习率开始正常训练，基准学习率设置为0.01。
[0038]
与现有技术相比，本发明所具有的有益效果为：
[0039]
本发明与现有刨花板表面缺陷检测做法相比，利用图像增强网络自主学习增强参数，将增强参数应用于原始图像得到增强图像，对增强图像进行实例分割得到分割结果；对原始图像与增强图像进行拼接，得到拼接图像，利用厚度分类网络进行不同板材厚度的分类，通过图像增强、实例分割与分类任务结合的多任务学习方式进行特征互补训练，以适应不同板材厚度的图像，提高特征可靠性，提升训练收敛稳定性，最终提升缺陷检测准确率。
附图说明
[0040]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0041]
图1为本发明实施例的缺陷检测方法流程图。
[0042]
图2为本发明实施例的多任务网络的结构图。
具体实施方式
[0043]
下面结合附图对本发明的优选实施例进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。
[0044]
需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
[0045]
此外，术语“水平”、“竖直”、“悬垂”等术语并不表示要求部件绝对水平或悬垂，而是可以稍微倾斜。如“水平”仅仅是指其方向相对“竖直”而言更加水平，并不是表示该结构
一定要完全水平，而是可以稍微倾斜。
[0046]
在本发明的描述中，还需要说明的是，除非另有明确的规定和限定，术语“设置”、“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
[0047]
如图1所示，本实施例的一种自适应板材厚度的刨花板表面缺陷检测方法，包括以下步骤：
[0048]
(1)数据集制作：收集海量刨花板表面缺陷的图片，设定缺陷类别；将图片裁剪成若干个尺寸为800x800x1的分块图像；对分块图片依据缺陷类别进行语义分割标注，将分块图片按一定的比例划分训练集、验证集与测试集。缺陷类别包含大刨花、划痕、砂穿、粉尘斑、鼓泡、胶斑、裂缝、乌云斑、油污、缺边、缺角、凹坑。
[0049]
(2)构建自适应板材厚度的多任务网络；如图2所示，多任务网络由输入模块、编码器、图像增强模块、实例分割模块、厚度分类模块构成；
[0050]
输入模块用于将输入的分块图像的每个像素除以255得到[0,1]归一化后的输入图像，且输入图像中每个像素值设为p；
[0051]
图像增强模块用于通过图像增强法对输入图像进行自适应图像增强。图像增强法包括以下子步骤：
[0052]
增强学习子步骤，通过图像增强网络进行学习获得增强参数；增强学习子步骤的具体方法为：采用图像增强网络是最后一层维度为1的resnet-18网络，通过以下公式计算出增强参数：
[0053][0054]
其中，图像增强网络最后一层特征为t，将t传入激活函数tanh(t)进行范围约束，得到增强参数α，且-1＜α＜1。
[0055]
图像增强子步骤，将增强参数应用于输入图像形成增强公式，将p带入增强公式后获得增强后的像素值p
′
；图像增强子步骤的具体方法为：将通过增强学习子步骤学习到的增强参数α应用于输入图像，通过以下公式获得增强后的像素值p
′
：
[0056]
p
′
＝-αp2 (α 1)p；
[0057]
其中，p表示输入图像的单个像素值，0≤p≤1；p
′
表示对应的增强后的像素值，0≤p
′
≤1。
[0058]
图像拼接子步骤，将p与p
′
按通道维度，依据拼接得到拼接图像图像拼接子步骤的具体方法为：将p与p
′
按通道维度拼接依据以下公式得到拼接图像
[0059][0060]
其中，p表示输入图像的单个像素值，0≤p≤1；p
′
表示对应的增强后的像素值，0≤p
′
≤1；表示p与p
′
按通道维度拼接后的图像，
[0061]
实例分割模块采用网络结构为resnet-50的mask r-cnn算法，用于对图像增强子步骤获得的像素值p
′
进行特征提取，
[0062]
由mask r-cnn的检测框分支输出得到每个缺陷的矩形框，分类分支输出得到每个缺陷的类别，掩码分支输出得到每个缺陷的掩码，每个缺陷的实例分割结果包含矩形框、类别以及对应的掩码；
[0063]
厚度分类网络采用resnet-18网络，用于对输入图像的板材厚度进行分类，通过拼接图像最终得到每张图像的板材厚度分类；厚度类别为8mm、10mm、12mm、28mm、30mm、35mm。
[0064]
(3)构建厚度分类网络损失函数：通过交叉熵损失函数及mask r-cnn的3个损失函数之和作为厚度分类网络损失函数。交叉熵损失函数为
[0065][0066]
其中，l
thickness
表示厚度分类网络损失函数，k表示厚度类别数，k＝6，qk表示对厚度类别经过one-hot编码的分类标签，qk∈{0,1}；当k为输入图像的真实厚度类别时，qk＝1，否则qk＝0；pk表示识别为类别k的概率，且0＜pk＜1；
[0067]
则通过交叉熵损失函数构成的多任务损失函数为
[0068]
l＝l
thickness
l
eis
l
box
l
mask
；
[0069]
其中，l为多任务损失函数，l
cls
为缺陷分类损失，l
box
为缺陷矩形框损失，l
mask
为掩码损失；l
cls
、l
box
、l
mask
mask r-cnn的3个损失函数。
[0070]
(4)模型训练：将训练集输入至步骤(2)中的多任务网络，采用步骤(3)中的厚度分类网络损失函数进行监督训练。本实施例厚度分类网络损失函数进行监督训练的具体方法为使用sgd优化器，图像增强模块在训练初期不稳定，采用warmup学习率调整策略进行模型训练，在训练初期以较低学习率进行训练，使网络逐渐适应输入的训练集数据，在训练过程中逐渐增大学习率，学习率增大到设定的基准学习率之后就从基准学习率开始正常训练，基准学习率设置为0.01。训练过程中，将验证集输入至训练好的中间模型进行验证，获得训练好的模型参数；
[0071]
(5)模型推理：将步骤(4)中训练好的模型参数加载至步骤(2)的多任务网络，并将步骤(1)中测试集的刨花板表面缺陷图片进行滑窗裁剪成指定尺寸的分块图片，将分块图片依次输入至多任务网络进行推理，得到每个分块图片的输出结果，最后将每个分块图片的输出结果合并成整块结果。
[0072]
虽然结合附图描述了本发明的实施方式，但是专利所有者可以在所附权利要求的范围之内做出各种变形或修改，只要不超过本发明的权利要求所描述的保护范围，都应当在本发明的保护范围之内。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实例的说明只是用于帮助理解本发明的方法及其核心思想。以上仅是本发明的优选实施方式，应当指出，由于文字表达的有限性，而客观上存在无限的具体结构，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进、润饰或变化，也可以将上述技术特征以适当的方式进行组合；这些改进润饰、变化或组合，或未经改进将发明的构思和技术方案直接应用于其它场合的，均应视为本发明的保护范围。