一种基于Swin-Transformer与NAS-FPN的织物疵点检测方法与流程

一种基于swin-transformer与nas-fpn的织物疵点检测方法
技术领域
1.本发明涉及计算机视觉技术领域，涉及一种基于swin-transformer与nas-fpn的织物疵点检测方法。


背景技术：

2.在生产过程中，因为设备、原料、工艺或者其它外部因素，布匹表面可能会产生疵点。疵点会影响织物质量，最终影响企业的经济效益。疵点的种类很多，形状、大小不规则；织物图像的背景纹理很复杂，这些会导致织物疵点自动检测很难实现。不仅如此，大规模疵点图像数据集的缺失也给疵点检测的训练带来了困难。对于疵点检测这道工序，目前大多数企业以人工目检为主。这种方式不但效率低，精度差，而且长时间的用眼会对纺织工人的眼睛造成不可逆的伤害。因此，开发一种利用计算机进行在线的、自动检测方法势在必行。
3.在线织物疵点检测指在织物生产过程中对疵点进行检测，在满足检测速度的同时，还要保证精度，找到疵点的位置和类型，以便于统计和报警。随着深度学习的发展，利用深度学习技术对织物疵点进行检测的方法不断地被提出。其中将疵点检测作为目标检测任务是一个重要的分支。然而直接使用通用的目标检测方法对织物进行检测却并不适用，这主要是通用的目标检测模型对于极小的目标无法识别，而很多织物上的疵点恰恰是极小的，比如污点、线头、破洞等，所以本发明提出了swin-transformer与nas-fpn来解决这个问题。


技术实现要素：

4.本发明的目的是提供一种基于swin-transformer与nas-fpn的织物疵点检测方法，所得的混凝土具有优异的工作性能、力学性能、抗裂性和抗冲磨性能。
5.为达到上述目的，本发明采用的技术方案为：
6.一种基于swin-transformer与nas-fpn的织物疵点检测方法，包括以下步骤：
7.步骤1、基于收集到的织物图像并进行疵点的标记，记录下织物图像中疵点所在位置与种类，并将标记后的织物图像划分为训练集与测试集；
8.步骤2、将训练集中的训练样本输入到设计好的swin-transformer模块中进行特征提取，得到不同层次的特征图；
9.步骤3、利用nas-fpn对步骤2得到的不同层次的特征图进行融合，得到融合后的特征图；
10.步骤4、将步骤3得到的融合后的特征图输入rpn网络得到疵点建议框；
11.步骤5、结合步骤3得到的特征图与步骤4得到的疵点建议框进行最终疵点位置的回归与疵点类型的分类，得到每个训练样本的最终疵点检测结果，利用检测结果与样本上标记的疵点位置和种类计算差异值，并计算损失函数，根据损失函数调整步骤1-3中各网络模块的参数，训练完毕后得到织物疵点检测模型；
12.步骤6、将步骤1中的测试集输入织物疵点检测网络模型中，得到图像中的目标疵
点及位置坐标，并在图像中进行标记。
13.进一步的，所述步骤2中设计的swin-transformer模块由一个区域划分模块和特征提取模块，所述区域划分模块用于将输入的图像划分为多个不重叠的小块；所述特征提取模块用于对划分后的图像进行多尺度特征提取，所述特征提取模块包括阶段一、阶段二、阶段三和阶段四：
14.阶段一用于提取浅层特征，包括一个线性嵌入层与2个连续的swin-transformer block，swin-transformer block是一个经过修改的自注意力模块，通过将transformer中的标准多头自注意力模块替换为基于移动窗口的模块，其他层保持不变，在每个msa模块和每个mlp之前应用一个layernorm层；
15.阶段二用于提取中层特征，包括一个区域融合模块与两个连续的swin-transformer block，区域融合模块通过融合相邻的小块得到分层特征；
16.阶段三由一个区域融合模块与6个swin-transformer block组成；阶段四由一个区域融合模块与2个swin-transformer block组成；阶段三、四用于提取深层次的特征。
17.进一步的，所述swin-transformer block用于利用基于移动窗口的模块将一个8
×
8的特征图均匀的划分成4
×
4的大小，然后，下一个模块在上一个模块的配置上使窗口滑动，通过用个像素来代替常规分区的窗口。
18.进一步的，步骤3中，特征融合的方式是使用神经架构搜索的方式来得到最优的融合方法。
19.进一步的，步骤4中，融合后的特征图输入rpn网络后，经过一个卷积层，分为两个分支，一个分支通过cx2通道大小为1的卷积代表c个建议框的前景背景概率，另外一个分支通过cx4通道大小为1的卷积代表c个建议框的坐标值，其中建议框的初始比例值根据训练集图片中疵点的长宽比分布情况确定，将两个分支的输出数据进行结合得到多个疵点建议框。
20.进一步的，步骤5中的分类方法是将输入数据输入全连接层、卷积层和全连接层之后分为两个并行的分支，一个分支连接全连接层之后对疵点的位置坐标进行回归，另一个分支则是通过全连接层之后经过softmax函数得到疵点的种类，将两个分支的输出数据进行结合得到检测得到的最终疵点位置和对应种类。
21.本发明的有益效果为：1.本发明提出了使用swin-transformer进行织物疵点检测的特征提取步骤，有更好的特征表达效果。2.本发明提出了使用nas-fpn对特征融合的方式在一个可扩展的空间内进行了搜索，所获得的特征融合效果更好。3.本发明将设计好的端对端的织物疵点检测网络模型用来进行在线织物疵点检测检测速度快且准确率高。
附图说明
22.图1是本发明基于swin-transformer与nas-fpn的织物疵点检测方法的主要架构图；
23.图2是本发明的swin-transformer的主要架构；
24.图3是本swin-transformer block的结构图；
25.图4是本发明的普通fpn进行特征融合的方式；
26.图5是本发明的nas-fpn主要构成部件merging cells的工作流程。
具体实施方式
27.以下对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
28.如图1所示，本发明实施例提供了一种基于swin-transformer与nas-fpn的织物疵点检测方法，具体步骤如下：
29.步骤一、利用图像采集系统在纺织企业的研布车间采集织物图像，采集到4365张分辨率为4096
×
1696，训练集与测试集中的图像数量比为4：1。
30.表1各类疵点数量
[0031][0032]
步骤二、构建swin-transformer模块，如图2所示，swin-transformer模块主要由区域划分和4个阶段组成，区域划分模块将输入的图像划分为不重叠的小块，每个小块的大小被设计为4
×
4他们的特征被设置为rgb通道的连接，因此每个小块的特征维度为4
×4×
3＝48。
[0033]
阶段一由1个线性嵌入层与2个连续的swin-transformer block组成，swin-transformer block是一个经过修改的自注意力模块，如图3所示，通过将transformer中的标准多头自注意力(msa)模块替换为基于移动窗口的模块(sw-msa)，其他层保持不变，在每
个msa模块和每个mlp之前应用一个layernorm(ln)层。
[0034]
其中，注意力模块的计算公式为：
[0035][0036]
其中，q为输入向量对应的查询矩阵，k为键矩阵，v为值矩阵，它们的初始值是随机生成的，dk为向量的维度。softmax激活函数计算公式如下：
[0037][0038]
其中sj为向量中第j个分量的softmax值，ej为第j个分量的值。
[0039]
多头注意力(msa)的计算公式如下：
[0040]
multihead(q,k,v)＝concat(head1,...,headh)wo
[0041]
where headi＝attention(qw
iq
,kw
ik
,vw
iv
)
[0042]
其中headi表示第i个头，每个头的计算公式与单头一样。wo表示对应的权值矩阵。
[0043]
阶段二由一个区域融合模块与两个连续的swin-transformer block组成，区域融合模块通过如何相邻的小块得到分层特征。
[0044]
阶段三由一个区域融合模块与6个swin-transformer block组成。
[0045]
阶段四由一个区域融合模块与2个swin-transformer block组成。
[0046]
通过阶段一，得到个token，每个token的通道为c。之后，为了产生分层表示，通过合并相邻的分块来减少token的数量，patch merge层将相邻2
×
2的每一组补丁的特征拼接起来，这样得到个token，通道为4c，然后经过阶段二的swin-transformer block，输出通道设置为2c，得到的输出，token的数量变成了阶段三与阶段四和阶段二类似，输出分别为与
[0047]
swin-transformer block中的基于移动窗口的模块(sw-msa)将一个8
×
8的特征图均匀的划分成4
×
4的大小(m＝4)。然后，下一个模块在上一个模块的配置上使窗口滑动，通过用像素来代替常规分区的窗口。两个连续的swin transformer blocks的计算为：
[0048][0049][0050][0051][0052]
其中和分别表示模块l的(s)w-msa层和mlp层的输出特征，w-msa表示基于
窗口的多头注意力，sw-msa表示移动窗口的多头注意力。
[0053]
步骤三、构建nas-fpn层，如图4所示，常规的fpn层，通过手动指定特征融合方式，nas-fpn是通过神经架构搜索的方式来学习到最好的特征融合方式，nas-fpn由merging cells组成，如图5所示，构建merging cells由4个步骤构成：
[0054]
1、选择一个候选特征层hi[0055]
2、选择另一个特征层hj[0056]
3、选择输出层的分辨率
[0057]
4、选择一个对hi于hj的操作，并使用步骤三选取的分辨率进行输出。
[0058]
步骤四、构建rpn层，rpn网络在得到融合后的特征输入后，经过一个大小为3的卷积，分为两个分支，一个通过cx2通道大小为1的卷积代表c个建议框的前景背景概率，另外一个通过cx4通道大小为1的卷积代表c个建议框的坐标值，其中预设的建议框的初始比例值是根据训练集图片中疵点的长宽比分布情况而手动设计的，值为[0.02,0.1,0.5,1.0,2.0,10,50]。另外，选取建议框采取了cascade结构，设计了3个iou阈值进行选择框的选取，分别是0.5，0.6，0.7。
[0059]
步骤五、构建输出层，输出层由全连接层、卷积层、全连接层之后分为两个并行的分支，一个分支连接全连接层之后对疵点的位置坐标进行回归，另一个分支则是通过全连接层之后经过softmax函数得到疵点的种类。
[0060]
步骤六、将训练集中的数据按批次输入到模型中进行训练，训练参数为每个批次训训练8张图片。训练时，我们将图片按比例缩放到1434,593，初始学习率为0.001，在27和33个进行衰减。共训练36个轮次。
[0061]
将本发明的测试结果和深度学习模型cascase rcnn对比，测试结果如表2所示，可以看出，在沾污、花头、缝头、缝头印虫粘，特别是缝头上因为融合方式的改变和候选框的增加有了极大的提升。在表3中，本方法的map相较于cascase rcnn提高了0.112，拥有了更高的准确率的同时还能拥有相仿的检测速度，实验表明，本发明的模型更适用于织物疵点检测。本发明使用的评价指标为目标检测的评估标准map,计算公式为：
[0062][0063]
其中n为检测的种类数量，api为第i类的ap，即平均精度，ap为pr曲线的面积，一般采用估算的形式，其计算公式为：
[0064][0065]
其中n为pr曲线的取值点数，p(k)为对应点的准确率，δr(k)为对应点的估计召回率，计算公式分别为：
[0066][0067][0068]
其中tp为检测正确的数量，fp为检测错误的数量，fn为为检测出的正确样本数量。
[0069]
表2各类疵点检测结果map
[0070][0071][0072]
表3本发明与深度学习模型cascase rcnn整体结果对比
[0073][0074]
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。