一种基于Swin-Transformer与NAS-FPN的织物疵点检测方法与流程

技术特征：
1.一种基于swin-transformer与nas-fpn的织物疵点检测方法，其特征在于，包括以下步骤：步骤1、基于收集到的织物图像并进行疵点的标记，记录下织物图像中疵点所在位置与种类，并将标记后的织物图像划分为训练集与测试集；步骤2、将训练集中的训练样本输入到设计好的swin-transformer模块中进行特征提取，得到不同层次的特征图；步骤3、利用nas-fpn对步骤2得到的不同层次的特征图进行融合，得到融合后的特征图；步骤4、将步骤3得到的融合后的特征图输入rpn网络得到疵点建议框；步骤5、结合步骤3得到的特征图与步骤4得到的疵点建议框进行最终疵点位置的回归与疵点类型的分类，得到每个训练样本的最终疵点检测结果，利用检测结果与样本上标记的疵点位置和种类计算差异值，并计算损失函数，根据损失函数调整步骤1-3中各网络模块的参数，训练完毕后得到织物疵点检测模型；步骤6、将步骤1中的测试集输入织物疵点检测网络模型中，得到图像中的目标疵点及位置坐标，并在图像中进行标记。2.根据权利要求1的基于swin-transformer与nas-fpn的织物疵点检测方法,其特征在于，所述步骤2中设计的swin-transformer模块包括一个区域划分模块和特征提取模块，所述区域划分模块用于将输入的图像划分为多个不重叠的小块；所述特征提取模块用于对划分后的图像进行多尺度特征提取，所述特征提取模块包括阶段一、阶段二、阶段三和阶段四：阶段一用于提取浅层特征，包括一个线性嵌入层与2个连续的swin-transformer block，swin-transformer block是一个经过修改的自注意力模块，修改方式为将transformer中的标准多头自注意力模块替换为基于移动窗口的模块，其他层保持不变，在每个msa模块和每个mlp之前应用一个layernorm层；阶段二用于提取中层特征，包括一个区域融合模块与两个连续的swin-transformer block，区域融合模块通过融合相邻的小块得到分层特征；阶段三由一个区域融合模块与6个swin-transformer block组成；阶段四由一个区域融合模块与2个swin-transformer block组成；阶段三、四用于提取深层次的特征。3.根据权利要求2的基于swin-transformer与nas-fpn的织物疵点检测方法,其特征在于，所述swin-transformer block用于利用基于移动窗口的模块将一个8
×
8的特征图均匀的划分成4
×
4的大小，然后，下一个模块在上一个模块的配置上使窗口滑动，通过用个像素来代替常规分区的窗口。4.根据权利要求1的基于swin-transformer与nas-fpn的织物疵点检测方法,其特征在于，步骤3中，特征融合的方式是使用神经架构搜索的方式来得到最优的融合方法。5.根据权利要求1的基于swin-transformer与nas-fpn的织物疵点检测方法,其特征在于，步骤4中，融合后的特征图输入rpn网络后，经过一个卷积层，分为两个分支，一个分支通过cx2通道大小为1的卷积代表c个建议框的前景背景概率，另外一个分支通过cx4通道大小为1的卷积代表c个建议框的坐标值，其中建议框的初始比例值根据训练集图片中疵点的长
宽比分布情况确定，将两个分支的输出数据进行结合得到多个疵点建议框。6.根据权利要求1的基于swin-transformer与nas-fpn的织物疵点检测方法,其特征在于，步骤5中的分类方法是将输入数据输入全连接层、卷积层和全连接层之后分为两个并行的分支，一个分支连接全连接层之后对疵点的位置坐标进行回归，另一个分支则是通过全连接层之后经过softmax函数得到疵点的种类，将两个分支的输出数据进行结合得到检测得到的最终疵点位置和对应种类。

技术总结
本发明涉及一种基于Swin-Transformer与NAS-FPN的织物疵点检测方法，主要有三个阶段：第一阶段，建立数据集，收集带有疵点的织物图像，人工标注疵点的位置和类型，并将数据集划分为训练集和测试集两个部分；第二阶段：训练模型，在训练集上，通过Swin-Transformer模块提取输入图像特征，然后使用NAS-FPN模块进行特征融合，将获得的特征通过RPN模块得到粗略的疵点位置框；第三阶段，通过对特征的处理得到最终织物疵点的位置和类型。本发明将Swin-Transformer与NAS-FPN相结合搭建的目标检测模型比通用的目标检测网络检测结果更加准确，特别是对于织物疵点更有针对性。特别是对于织物疵点更有针对性。特别是对于织物疵点更有针对性。


技术研发人员：李敏 雷承霖 王斌 朱萍 何儒汉 胡新荣
受保护的技术使用者：武汉纺织大学
技术研发日：2021.10.26
技术公布日：2022/2/18