复杂纹理花边布的缺陷检测方法及装置

1.本发明涉及图像技术领域，尤其涉及一种复杂纹理花边布的缺陷检测方法及装置。


背景技术：

2.花边布的表面缺陷会极大影响产品的质量，降低产品的价格。缺陷检测是花边布生产过程中的重要过程，而随着生产过程的推进，花边布的稳定性、规范性会下降，流水线也会开始分化，而且越接近生产后期，缺陷检测难度就越大，且会增加后续的加工成本；因此，有必要在生产流水线中增加一种可靠的缺陷检测手段。
3.相关技术中，通常采用人工检测的方法，由一部分员工专门负责纺织品缺陷检测工作。
4.但上述相关技术中，由于花边布的缺陷检测要求高，若通过人工对大量花边布进行缺陷检测，则会降低缺陷检测的效率。


技术实现要素：

5.针对现有技术存在的问题，本发明提供一种复杂纹理花边布的缺陷检测方法及装置。
6.本发明提供一种复杂纹理花边布的缺陷检测方法，包括：
7.获取待检测子图像；其中，所述待检测子图像中包含花边布图案；
8.确定所述待检测子图像在目标纹理图像中的第一对应位置，将所述第一对应位置处的图像和所述待检测子图像组成待检测图像对；其中，所述目标纹理图像为花边布图案无缺陷的图像；
9.将所述待检测图像对输入至编解码模型中，得到所述编解码模型输出的恢复后的待检测子图像；
10.将所述恢复后的待检测子图像和所述目标纹理图像进行比对；
11.在确定所述恢复后的待检测子图像的花边布图案有缺陷时，确定所述恢复后的待检测子图像中的缺陷位置；
12.其中，所述编解码模型是基于多个图像对样本训练得到的；所述编解码模型用于基于所述第一对应位置处的图像对所述待检测子图像进行矫正。
13.根据本发明提供的一种复杂纹理花边布的缺陷检测方法，所述将所述恢复后的待检测子图像和所述目标纹理图像进行比对，包括：
14.将所述恢复后的待检测子图像和所述目标纹理图像，从亮度、对比度和结构进行结构相似性评估。
15.根据本发明提供的一种复杂纹理花边布的缺陷检测方法，在所述将所述待检测图像对输入至编解码模型中，得到所述编解码模型输出的恢复后的待检测子图像之前，所述方法还包括：
16.获取多个时间周期的图像样本序列；其中，所述图像样本序列中至少包括一个时间周期的所述目标纹理图像；所述时间周期为生产流水线中花边布图案循环一次所需的时间；
17.在所述图像样本序列中提取预设尺寸的多个子图像样本；
18.确定每个所述子图像样本在所述目标纹理图像中的第二对应位置，将每个所述第二对应位置处的图像和对应的所述子图像样本组成多个图像对样本；
19.基于所述多个图像对样本对深度学习模型进行训练，得到所述编解码模型。
20.根据本发明提供的一种复杂纹理花边布的缺陷检测方法，所述基于所述多个图像对样本对深度学习模型进行训练，得到所述编解码模型，包括：
21.将所述多个图像对样本输入至深度学习模型中，得到每个所述图像对样本对应的光流向量场；
22.将所述光流向量场与对应的所述子图像样本进行叠加，并对叠加结果进行插值，得到恢复后的子图像样本；
23.基于所述恢复后的子图像样本和所述目标纹理图像构建损失函数；
24.基于所述损失函数对所述深度学习模型进行优化，直至所述损失函数收敛，得到所述编解码模型。
25.根据本发明提供的一种复杂纹理花边布的缺陷检测方法，所述基于所述恢复后的子图像样本和所述目标纹理图像构建损失函数，包括：
26.采用以下公式(1)构建所述损失函数；
27.l＝l
mse
λl
flow
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
28.其中，l表示损失函数，λ表示光流向量场梯度损失的权重，l
mse
表示所述恢复结果形态损失，l
mse
＝∑
i,j
[m
′
(i,j)-f(i,j)]2；l
flow
表示所述光流向量场梯度损失，l
flow
＝∑
i,j
[g(i,j,0)2 g(i,j,1)]2；m
′
(i,j)为所述恢复后的子图像样本，f(i,j)为所述目标纹理图像；g(i,j,0)为第一层的光流向量场，g(i,j,1)为第二层的光流向量场。
[0029]
根据本发明提供的一种复杂纹理花边布的缺陷检测方法，所述确定每个所述子图像样本在所述目标纹理图像中的第二对应位置，包括：
[0030]
针对每个所述子图像样本，对所述子图像样本构建尺度空间；
[0031]
在所述尺度空间中，确定预设邻域中的极值点；
[0032]
将主曲率比值大于预设阈值的极值点进行过滤；
[0033]
确定过滤后剩余的每个极值点的特征信息；
[0034]
基于过滤后剩余的每个极值点的特征信息确定所述子图像样本在所述目标纹理图像中的所述第二对应位置。
[0035]
根据本发明提供的一种复杂纹理花边布的缺陷检测方法，所述深度学习模型包括4层u-net网络，所述u-net网络包括一个输入i、一个输出out、中间量c1、中间量c2、中间量c3、中间量c4、中间量c5和中间量c6。
[0036]
所述c1＝conv(ω0i,stride＝2)；
[0037]
所述c2＝conv(ω1c1,stride＝2)；
[0038]
所述c3＝conv(ω2c2,stride＝2)；
[0039]
所述c4＝conv(ω3c3,stride＝1)；
[0040]
所述c5＝up(concat(c2,c4))；
[0041]
所述c6＝up(concat(c1,c5))；
[0042]
所述out＝up(concat(c1,c5))；
[0043]
其中，conv(i,stride)表示输入为i和步长stride的二维卷积操作，ω表示卷积层的参数，concat表示两个图像的拼接操作，up表示输入图像的上采样操作。
[0044]
本发明还提供一种复杂纹理花边布的缺陷检测装置，包括：
[0045]
第一获取单元，用于获取待检测子图像；其中，所述待检测子图像中包含花边布图案；
[0046]
第一确定单元，用于确定所述待检测子图像在目标纹理图像中的第一对应位置，将所述第一对应位置处的图像和所述待检测子图像组成待检测图像对；其中，所述目标纹理图像为花边布图案无缺陷的图像；
[0047]
处理单元，用于将所述待检测图像对输入至编解码模型中，得到所述编解码模型输出的恢复后的待检测子图像；
[0048]
比对单元，用于将所述恢复后的待检测子图像和所述目标纹理图像进行比对；
[0049]
第二确定单元，用于在确定所述恢复后的待检测子图像的花边布图案有缺陷时，确定所述恢复后的待检测子图像中的缺陷位置；
[0050]
其中，所述编解码模型是基于多个图像对样本训练得到的；所述编解码模型用于基于所述第一对应位置处的图像对所述待检测子图像进行矫正。
[0051]
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述复杂纹理花边布的缺陷检测方法的步骤。
[0052]
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述复杂纹理花边布的缺陷检测方法的步骤。
[0053]
本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述复杂纹理花边布的缺陷检测方法的步骤。
[0054]
本发明提供的一种复杂纹理花边布的缺陷检测方法及装置，将确定的待检测图像对输入至编解码模型中，得到编解码模型输出的恢复后的待检测子图像，然后将恢复后的待检测子图像和花边布图案无缺陷的目标纹理图像进行比对，确定出恢复后的待检测子图像中的缺陷位置，实现了图像缺陷位置的自动检测，从而提高了图像缺陷检测的效率。
附图说明
[0055]
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0056]
图1是本发明提供的复杂纹理花边布的缺陷检测方法的流程示意图之一；
[0057]
图2是本发明提供的复杂纹理花边布的缺陷检测方法的流程示意图之二；
[0058]
图3是本发明提供的复杂纹理花边布的缺陷检测方法的流程示意图之三；
[0059]
图4是本发明提供的复杂纹理花边布的缺陷检测方法的流程示意图之四；
[0060]
图5是本发明提供的复杂纹理花边布的缺陷检测装置的结构示意图；
[0061]
图6是本发明提供的电子设备的实体结构示意图。
具体实施方式
[0062]
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0063]
下面结合图1-图4描述本发明的复杂纹理花边布的缺陷检测方法。
[0064]
图1是本发明提供的复杂纹理花边布的缺陷检测方法的流程示意图，如图1所示，该复杂纹理花边布的缺陷检测方法包括以下步骤：
[0065]
步骤101、获取待检测子图像。
[0066]
其中，所述待检测子图像中包含花边布图案。
[0067]
示例地，工业相机采集到包含花边布图案的整幅图像时，由于对整幅图像进行缺陷检测对算力的要求比较高，特别是由于花纹存在周期性，对整幅图像直接检测会造成大量计算冗余。所以，本发明采用滑窗法得到整幅图像的多个待检测子图像；具体地，在花边布传送带上下移动时，从左至右滑窗得到覆盖一整行的待检测子图像；在花边布传送带左右移动时，从上至下滑窗得到覆盖一整列的待检测子图像。
[0068]
步骤102、确定所述待检测子图像在目标纹理图像中的第一对应位置，将所述第一对应位置处的图像和所述待检测子图像组成待检测图像对。
[0069]
其中，所述目标纹理图像为花边布图案无缺陷的图像。
[0070]
示例地，在获取到待检测子图像时，采用sift特征提取方法对待检测子图像进行特征提取，以确定待检测子图像在目标纹理图像中的第一对应位置，并将第一对应位置处的图像和待检测子图像组成待检测图像对。其中，sift特征提取方法包括构建尺度空间、检测极值点、过滤极值点和生成特征描述子这四个步骤。
[0071]
步骤103、将所述待检测图像对输入至编解码模型中，得到所述编解码模型输出的恢复后的待检测子图像。
[0072]
其中，所述编解码模型是基于多个图像对样本训练得到的；所述编解码模型用于基于所述第一对应位置处的图像对所述待检测子图像进行矫正。
[0073]
示例地，在得到待检测图像对时，将待检测图像对叠放，形成一个批次，输入至预先训练好的编解码模型中，由编解码模型对待检测图像对中扭曲和畸变的位置进行矫正，得到编解码模型输出的恢复后的待检测子图像，该恢复后的待检测子图像即为恢复扭曲和畸变的待检测子图像。
[0074]
步骤104、将所述恢复后的待检测子图像和所述目标纹理图像进行比对。
[0075]
可选地，将所述恢复后的待检测子图像和所述目标纹理图像，从亮度、对比度和结构进行结构相似性评估。
[0076]
示例地，在得到恢复扭曲和畸变的待检测子图像后，基于结构相似性(structural similarity，ssim)的评估方法对目标纹理图像和恢复扭曲和畸变的待检测子图像进行比对，以确定恢复扭曲和畸变的待检测子图像中是否存在缺陷。
[0077]
具体结构相似性的评估是从亮度、对比度和结构这三个方面进行评估的，若将恢复扭曲和畸变的待检测子图像作为样本x，将目标纹理图像作为样本y，则结构相似性的形式可以采用以下公式(2)来表示：
[0078]
ssim(x,y)＝l(x,y)
α
·
c(x,y)
β
·
s(x,y)
γ
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)
[0079]
其中，
[0080][0081][0082]
l表示亮度，c表示对比度，s表示结构，μ
x
表示样本x的平均值，μy表示样本y的平均值，σ
x
表示样本x的方差，σy表示样本y的方差，σ
xy
表示样本x和样本y的协方差，c1、c2和c3为避免除零而添加的常数项，α表示亮度数值的权重，β表示对比度数值的权重，γ表示亮度数值的权重。
[0083]
具体而言，为了降低评估复杂度，计算时采用滑窗法，每次取一个n
×
n大小的窗口，计算n
×
n大小窗口对应的ssim值，最后取所有窗口的ssim值的平均值作为全局的ssim值；其中，n取较小值时可以计算两个图像中对应位置的一个较小邻域之间的结构相似值，计算全图的邻域ssim即可得到一张待检测子图像，基于ssim值的大小来确定恢复扭曲和畸变的待检测子图像中是否存在缺陷。
[0084]
步骤105、在确定所述恢复后的待检测子图像的花边布图案有缺陷时，确定所述恢复后的待检测子图像中的缺陷位置。
[0085]
示例地，ssim值接近1的区域为正常区域，ssim值远离1的区域为缺陷区域，从而可以确定出恢复扭曲和畸变的待检测子图像中的缺陷位置。
[0086]
本发明提供的一种复杂纹理花边布的缺陷检测方法，将确定的待检测图像对输入至编解码模型中，得到编解码模型输出的恢复后的待检测子图像，然后将恢复后的待检测子图像和花边布图案无缺陷的目标纹理图像进行比对，确定出恢复后的待检测子图像中的缺陷位置，实现了图像缺陷位置的自动检测，从而提高了图像缺陷检测的效率。
[0087]
可选地，图2是本发明提供的复杂纹理花边布的缺陷检测方法的流程示意图之二，如图2所示，图1中的步骤103之前，该复杂纹理花边布的缺陷检测方法还包括以下步骤：
[0088]
步骤106、获取多个时间周期的图像样本序列。
[0089]
其中，所述图像样本序列中至少包括一个时间周期的所述目标纹理图像；所述时间周期为生产流水线中花边布图案循环一次所需的时间。
[0090]
示例地，通过工业相机采集多个时间周期的图像样本，这些图像样本组成图像样本序列，在图像缺陷检测过程中，需要一系列正常样本图像对程序进行监督，所以，在通过工业相机采集花边布的图像样本时，需要采集包含至少一个时间周期的目标纹理图像，该目标纹理图像为花边布图案无缺陷的图像，将多个目标纹理图像作为正常样本图像，以保障在检测过程中每一个待检测子图像就可以在正常样本图像中找到纹理一致的对应位置。
[0091]
步骤107、在所述图像样本序列中提取预设尺寸的多个子图像样本。
[0092]
示例地，在采集到图像样本序列时，在图像样本序列中按照预设尺寸裁剪多个子
图像样本，将多个子图像样本作为训练模型需要采用的样本。
[0093]
步骤108、确定每个所述子图像样本在所述目标纹理图像中的第二对应位置，将每个所述第二对应位置处的图像和对应的所述子图像样本组成多个图像对样本。
[0094]
可选地，图3是本发明提供的复杂纹理花边布的缺陷检测方法的流程示意图之三，如图3所示，步骤108具体可通过以下步骤实现：
[0095]
步骤1081、针对每个所述子图像样本，对所述子图像样本构建尺度空间。
[0096]
示例地，构建尺度空间是使用高斯算子计算不同尺度图像对应的特征图，构建一个多层的高斯金字塔；具体构建方法采用如下公式(3)至公式(5)来表示：
[0097]
l(x,y,σ)＝g(x,y,σ)*i(x,y)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)
[0098][0099]
d(x,y,σ)＝l(x,y,kσ)-l(x,y,σ)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(5)
[0100]
其中，i表示子图像样本，g表示高斯算子，d表示生成的尺度空间，σ表示尺度空间因子，kσ表示高斯算子的方差，表征图像对应的尺度信息，m和n表示高斯模板的维度，l(x,y,σ)表示变化尺度的高斯函数g(x,y,σ)与子图像样本i(x,y)的卷积，*表示卷积运算。
[0101]
步骤1082、在所述尺度空间中，确定预设邻域中的极值点。
[0102]
示例地，预设邻域为3
×3×
3，则在尺度的高斯金字塔层级中，找到各个3
×3×
3邻域中的极值点；其中，邻域是指某像素同层周围8个像素以及上下相邻层周围18个，共计26个像素点。
[0103]
步骤1083、将主曲率比值大于预设阈值的极值点进行过滤。
[0104]
示例地，主曲率可以由hessian矩阵获得，假设hessian矩阵可采用以下公式(6)来表示：
[0105][0106]
其中，h1(x,y)表示hessian矩阵，d
xx
(x,y)表示对像素点(x,y)的像素值进行两次x轴方向的偏导，d
xy
(x,y)表示对像素点(x,y)的像素值先进行x轴方向的偏导，再进行y轴方向的偏导，d
yy
(y,y)表示对像素点(x,y)的像素值进行两次y轴方向的偏导。
[0107]
步骤1084、确定过滤后剩余的每个极值点的特征信息。
[0108]
其中，特征信息包括位置、尺度和方向这三个方面的信息。
[0109]
示例地，可以采用k近邻法(k-nearest neighbors)获得一个映射矩阵h2，将子图像样本的四角位置映射到目标纹理图像中；具体地，寻找一个3*3的映射矩阵h2，使得图像对样本中的两个图像(xi,yi)和(x
′i,y
′i)，下述公式(7)的结果最小。
[0110][0111]
其中，h
11
、h
12
、h
13
、h
21
、h
22
、h
23
、h
31
、h
32
和h
33
分别表示映射矩阵h2中的每个元素，i表示第i个特征点，(xi,yi)表示子图像样本中第i个特征点的坐标，(x
′i,y
′i)表示目标纹理图像中第i个特征点的坐标。
[0112]
步骤1085、基于过滤后剩余的每个极值点的特征信息确定所述子图像样本在所述
目标纹理图像中的所述第二对应位置。
[0113]
示例地，在确定子图像样本在目标纹理图像中的第二对应位置时，将每个第二对应位置处的图像和对应的子图像样本组成一个图像对样本；则针对多个子图像样本，就会得到多个图像对样本。
[0114]
需要说明的是，在训练模型的过程中需要大规模的训练数据集和验证数据集，所以，在图像样本序列中需要随机提取大量预设尺寸的子图像样本，这样就可以得到大规模的图像对样本；本发明通过随机抽取的方式构建大规模无序的图像对样本集合，为后续训练提供训练数据集和验证数据集；例如，本发明生成的图像对样本集合包含5000个训练图像对和1000个测试图像对。
[0115]
步骤109、基于所述多个图像对样本对深度学习模型进行训练，得到所述编解码模型。
[0116]
可选地，图4是本发明提供的复杂纹理花边布的缺陷检测方法的流程示意图之四，如图4所示，图2中的步骤109具体可通过以下步骤实现：
[0117]
步骤1091、将所述多个图像对样本输入至深度学习模型中，得到每个所述图像对样本对应的光流向量场。
[0118]
其中，深度学习模型包括4层u-net网络，所述u-net网络包括一个输入i、一个输出out、中间量c1、中间量c2、中间量c3、中间量c4、中间量c5和中间量c6；
[0119]
所述c1＝conv(ω0i,stride＝2)；
[0120]
所述c2＝conv(ω1c1,stride＝2)；
[0121]
所述c3＝conv(ω2c2,stride＝2)；
[0122]
所述c4＝conv(ω3c3,stride＝1)；
[0123]
所述c5＝up(concat(c2,c4))；
[0124]
所述c6＝up(concat(c1,c5))；
[0125]
所述out＝up(concat(c1,c5))；
[0126]
其中，conv(i,stride)表示输入为i和步长stride的二维卷积操作，ω表示卷积层的参数，concat表示两个图像的拼接操作，例如，若输入图像尺寸为c1×h×
w以及c2×h×
w，则在第一维的角度将两个输入图像拼接为一个(c1 c2)
×h×
w大小的输出图像，c1表示第一个输入图像的张数，由卷积核的个数确定，c2表示第二个输入图像的张数，由卷积核的个数确定，h表示图像的高度，w表示图像的宽度；up表示输入图像的上采样操作；例如，采用线性插值法，将输入图像的尺寸放大为2倍。
[0127]
示例地，在步长为1时，卷积输出尺寸与输入尺寸相同；在步长为2时，卷积输出尺寸是输入尺寸的二分之一；另外，在将多个图像对样本输入至深度学习模型后，由深度学习模型确定图像对样本之间的映射关系，并基于映射关系恢复子图像样本的形态。
[0128]
其中，图像对样本之间的映射关系为一个尺寸等同于图像对样本尺寸的二层光流向量场g(x,y)；例如，图像对样本以及二层光流向量场的尺寸均为2
×h×
w，二层光流向量场的第一层信息表示横坐标上子图像样本应该位移的距离，第二层信息表示纵坐标上子图像样本应该位移的距离。
[0129]
需要说明的是，在得到多个图像对样本时，由于模型在训练的时候可能会发生过拟合，所以，本发明引入批归一化(batch normalization)方法对卷积层结果进行处理以解
决过拟合问题，批归一化的目的是将像素的像素值分布在0到1之间；具体批归一化的流程如表1所示：
[0130]
表1
[0131][0132]
步骤1092、将所述光流向量场与对应的所述子图像样本进行叠加，并对叠加结果进行插值，得到恢复后的子图像样本。
[0133]
示例地，恢复子图像样本的形态是指将二层光流向量场与对应的子图像样本进行叠加，并对未映射到的位置赋以插值得到的值，插值采用双线性插值方法。
[0134]
例如，在训练模型时，对于得到的多个样本图像对，将多个样本图像对划分为训练集和验证集，将训练集按预设数量个样本图像对为一批输入至深度学习模型，例如预设数量为32，则记为i＝{(m1,f1),
…
,(m
32
,f
32
)}，则得到32个光流向量场v＝{g1,
…
,g
32
}，将每个光流向量场与对应的子图像样本进行叠加，并对叠加结果进行插值，得到输出的恢复后的子图像样本，记为y＝{y1,
…
,y
32
}。
[0135]
步骤1093、基于所述恢复后的子图像样本和所述目标纹理图像构建损失函数。
[0136]
可选地，采用以下公式(1)构建所述损失函数；
[0137]
l＝l
mse
λl
flow
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
[0138]
其中，l表示损失函数，λ表示光流向量场梯度损失的权重，其中，λ的取值可以为0.01，l
mse
表示所述恢复结果形态损失，l
mse
＝∑
i,j
[m
′
(i,j)-f(i,j)]2；l
flow
表示所述光流向量场梯度损失，l
flow
＝∑
i,j
[g(i,j,0)2 g(i,j,1)]2；m
′
(i,j)为所述恢复后的子图像样本，f(i,j)为所述目标纹理图像；g(i,j,0)为第一层的光流向量场，g(i,j,1)为第二层的光流向量场。
[0139]
步骤1094、基于所述损失函数对所述深度学习模型进行优化，直至所述损失函数收敛，得到所述编解码模型。
[0140]
示例地，需要对深度学习模型进行多个训练，直至最终得到的编解码模型能够正确恢复子图像样本相对于目标纹理图像的扭曲和畸变，其中，正确恢复子图像样本相对于
目标纹理图像的扭曲和畸变的评判标准为损失函数，基于损失函数对深度学习模型进行优化，直至损失函数收敛，其中，深度学习模型的优化器可以为adam优化器，学习率为5
×
10-4
。
[0141]
需要说明的是，全局平均的ssim值也可以用来评价步骤s109中编解码模型的配准能力，可以在测试时作为判据，或在训练时作为模型的一个损失函数，辅助模型进行训练。
[0142]
本发明提供的复杂纹理花边布的缺陷检测方法，具备以下有益效果：
[0143]
1)实现了图像缺陷位置的自动检测，从而提高了图像缺陷检测的效率；
[0144]
2)本发明的方法为一个自监督深度学习模型，只需学习花边布的纹理形态信息，用目标纹理图像对深度学习模型进行监督，因此对缺陷样本的样式、数量和标注均无要求，能够有效解决实际生产中欠缺缺陷样本和有效标注的问题；
[0145]
3)本发明设计了一种两阶段高精度配准的复杂纹理花边布的缺陷检测方法：第一阶段，利用sift特征提取方法提取子图像样本与目标纹理图像的特征点信息，并利用k近邻算法进行匹配，得到子图像样本在目标纹理图像中的对应位置，并形成后续深度学习模型的数据集；第二阶段，采用训练好的编解码模型恢复待检测子图像的相对畸变和扭曲，使得两张图片的形态更为近似。因此，该方法能够高效地对正常样本和待检样本进行比较，具备较高的精度和较好的可解释性。
[0146]
4)本发明的计算量集中在两个阶段的高精度配准流程中：第一阶段，sift算子的特征提取和匹配不涉及深度学习计算，计算速度较快；第二阶段，本发明实例采用了轻量级的u-net作为编解码模型的主干网络，该模型具有特征提取能力强、速度快的优点，模型参数规模不超过200千字节(kb)。因此，本发明能够实现实时检测，具有检测速度快的优点；另外，本发明融合基于特征提取的粗配准算法和基于深度编码-解码器的精配准算法，充分利用花边布的周期性特点，能够实现对复杂纹理花边布的高精度检测。
[0147]
下面对本发明提供的复杂纹理花边布的缺陷检测装置进行描述，下文描述的复杂纹理花边布的缺陷检测装置与上文描述的复杂纹理花边布的缺陷检测方法可相互对应参照。
[0148]
图5是本发明提供的复杂纹理花边布的缺陷检测装置的结构示意图，如图5所示，该复杂纹理花边布的缺陷检测装置包括第一获取单元501、第一确定单元502、处理单元503、比对单元504和第二确定单元505；其中：
[0149]
第一获取单元501，用于获取待检测子图像；其中，所述待检测子图像中包含花边布图案；
[0150]
第一确定单元502，用于确定所述待检测子图像在目标纹理图像中的第一对应位置，将所述第一对应位置处的图像和所述待检测子图像组成待检测图像对；其中，所述目标纹理图像为花边布图案无缺陷的图像；
[0151]
处理单元503，用于将所述待检测图像对输入至编解码模型中，得到所述编解码模型输出的恢复后的待检测子图像；
[0152]
比对单元504，用于将所述恢复后的待检测子图像和所述目标纹理图像进行比对；
[0153]
第二确定单元505，用于在确定所述恢复后的待检测子图像的花边布图案有缺陷时，确定所述恢复后的待检测子图像中的缺陷位置；
[0154]
其中，所述编解码模型是基于多个图像对样本训练得到的；所述编解码模型用于基于所述第一对应位置处的图像对所述待检测子图像进行矫正。
[0155]
本发明提供的一种复杂纹理花边布的缺陷检测装置，将确定的待检测图像对输入至编解码模型中，得到编解码模型输出的恢复后的待检测子图像，然后将恢复后的待检测子图像和花边布图案无缺陷的目标纹理图像进行比对，确定出恢复后的待检测子图像中的缺陷位置，实现了图像缺陷位置的自动检测，从而提高了图像缺陷检测的效率。
[0156]
基于上述任一实施例，所述比对单元504具体用于：
[0157]
将所述恢复后的待检测子图像和所述目标纹理图像，从亮度、对比度和结构进行结构相似性评估。
[0158]
基于上述任一实施例，所述装置还包括第二获取单元、提取单元、第三确定单元和训练单元；
[0159]
所述第二获取单元，用于获取多个时间周期的图像样本序列；其中，所述图像样本序列中至少包括一个时间周期的所述目标纹理图像；所述时间周期为生产流水线中花边布图案循环一次所需的时间；
[0160]
所述提取单元，用于在所述图像样本序列中提取预设尺寸的多个子图像样本；
[0161]
所述第三确定单元，用于确定每个所述子图像样本在所述目标纹理图像中的第二对应位置，将每个所述第二对应位置处的图像和对应的所述子图像样本组成多个图像对样本；
[0162]
所述训练单元，用于基于所述多个图像对样本对深度学习模型进行训练，得到所述编解码模型。
[0163]
基于上述任一实施例，所述训练单元具体用于：
[0164]
将所述多个图像对样本输入至深度学习模型中，得到每个所述图像对样本对应的光流向量场；
[0165]
将所述光流向量场与对应的所述子图像样本进行叠加，并对叠加结果进行插值，得到恢复后的子图像样本；
[0166]
基于所述恢复后的子图像样本和所述目标纹理图像构建损失函数；
[0167]
基于所述损失函数对所述深度学习模型进行优化，直至所述损失函数收敛，得到所述编解码模型。
[0168]
基于上述任一实施例，所述训练单元还具体用于：
[0169]
采用以下公式(1)构建所述损失函数；
[0170]
l＝l
mse
λl
flow
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
[0171]
其中，l表示损失函数，λ表示光流向量场梯度损失的权重，l
mse
表示所述恢复结果形态损失，l
mse
＝∑
i,j
[m
′
(i,j)-f(i,j)]2；l
flow
表示所述光流向量场梯度损失，l
flow
＝∑
i,j
[g(i,j,0)2 g(i,j,1)]2；m
′
(i,j)为所述恢复后的子图像样本，f(i,j)为所述目标纹理图像；g(i,j,0)为第一层的光流向量场，g(i,j,1)为第二层的光流向量场。
[0172]
基于上述任一实施例，所述第三确定单元具体用于：
[0173]
针对每个所述子图像样本，对所述子图像样本构建尺度空间；
[0174]
在所述尺度空间中，确定预设邻域中的极值点；
[0175]
将主曲率比值大于预设阈值的极值点进行过滤；
[0176]
确定过滤后剩余的每个极值点的特征信息；
[0177]
基于过滤后剩余的每个极值点的特征信息确定所述子图像样本在所述目标纹理
图像中的所述第二对应位置。
[0178]
基于上述任一实施例，所述深度学习模型包括4层u-net网络，所述u-net网络包括一个输入i、一个输出out、中间量c1、中间量c2、中间量c3、中间量c4、中间量c5和中间量c6；
[0179]
所述c1＝conv(ω0i,stride＝2)；
[0180]
所述c2＝conv(ω1c1,stride＝2)；
[0181]
所述c3＝conv(ω2c2,stride＝2)；
[0182]
所述c4＝conv(ω3c3,stride＝1)；
[0183]
所述c5＝up(concat(c2,c4))；
[0184]
所述c6＝up(concat(c1,c5))；
[0185]
所述out＝up(concat(c1,c5))；
[0186]
其中，conv(i,stride)表示输入为i和步长stride的二维卷积操作，ω表示卷积层的参数，concat表示两个图像的拼接操作，up表示输入图像的上采样操作。
[0187]
图6是本发明提供的电子设备的实体结构示意图，如图6所示，该电子设备可以包括：处理器(processor)610、通信接口(communications interface)620、存储器(memory)630和通信总线640，其中，处理器610，通信接口620，存储器630通过通信总线640完成相互间的通信。处理器610可以调用存储器630中的逻辑指令，以执行复杂纹理花边布的缺陷检测方法，该方法包括：获取待检测子图像；其中，所述待检测子图像中包含花边布图案；
[0188]
确定所述待检测子图像在目标纹理图像中的第一对应位置，将所述第一对应位置处的图像和所述待检测子图像组成待检测图像对；其中，所述目标纹理图像为花边布图案无缺陷的图像；
[0189]
将所述待检测图像对输入至编解码模型中，得到所述编解码模型输出的恢复后的待检测子图像；
[0190]
将所述恢复后的待检测子图像和所述目标纹理图像进行比对；
[0191]
在确定所述恢复后的待检测子图像的花边布图案有缺陷时，确定所述恢复后的待检测子图像中的缺陷位置；
[0192]
其中，所述编解码模型是基于多个图像对样本训练得到的；所述编解码模型用于基于所述第一对应位置处的图像对所述待检测子图像进行矫正。
[0193]
此外，上述的存储器630中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0194]
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的复杂纹理花边布的缺陷检测方法，该方法包括：获取待检测子图像；其中，所述待检测子图像中包含花边布图案；
[0195]
确定所述待检测子图像在目标纹理图像中的第一对应位置，将所述第一对应位置处的图像和所述待检测子图像组成待检测图像对；其中，所述目标纹理图像为花边布图案无缺陷的图像；
[0196]
将所述待检测图像对输入至编解码模型中，得到所述编解码模型输出的恢复后的待检测子图像；
[0197]
将所述恢复后的待检测子图像和所述目标纹理图像进行比对；
[0198]
在确定所述恢复后的待检测子图像的花边布图案有缺陷时，确定所述恢复后的待检测子图像中的缺陷位置；
[0199]
其中，所述编解码模型是基于多个图像对样本训练得到的；所述编解码模型用于基于所述第一对应位置处的图像对所述待检测子图像进行矫正。
[0200]
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的复杂纹理花边布的缺陷检测方法，该方法包括：获取待检测子图像；其中，所述待检测子图像中包含花边布图案；
[0201]
确定所述待检测子图像在目标纹理图像中的第一对应位置，将所述第一对应位置处的图像和所述待检测子图像组成待检测图像对；其中，所述目标纹理图像为花边布图案无缺陷的图像；
[0202]
将所述待检测图像对输入至编解码模型中，得到所述编解码模型输出的恢复后的待检测子图像；
[0203]
将所述恢复后的待检测子图像和所述目标纹理图像进行比对；
[0204]
在确定所述恢复后的待检测子图像的花边布图案有缺陷时，确定所述恢复后的待检测子图像中的缺陷位置；
[0205]
其中，所述编解码模型是基于多个图像对样本训练得到的；所述编解码模型用于基于所述第一对应位置处的图像对所述待检测子图像进行矫正。
[0206]
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
[0207]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
[0208]
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。