基于任务感知自监督预训练的织物疵点检测方法及系统

本发明属于织物表面质量检测，涉及基于任务感知自监督预训练的织物疵点检测方法，还涉及基于任务感知自监督预训练的织物疵点检测系统。

背景技术：

1、织物表面质量直接影响纺织产品的外观质量、使用性能和市场价值。在纺纱、织造、针刺、热轧、染整、运输及后续加工过程中，织物表面可能产生破洞、异物、油斑、断纱、擦伤、折痕以及局部组织结构异常等疵点。传统人工验布主要依靠检测人员连续观察运行中的织物表面，其检测结果容易受到人员经验、疲劳程度、照明条件和织物运行速度影响，存在主观性较强、漏检率较高、检测一致性不足以及难以适应高速连续化生产的问题。

2、随着机器视觉和深度学习技术的发展，基于视觉图像的织物疵点自动检测逐渐成为纺织制造质量控制的重要技术路径。现有方法通常利用目标检测模型提取织物图像特征，并通过检测头预测疵点边界框和疵点类别。为了满足工业现场对实时性的要求，参数量较小、计算量较低的轻量化一阶段目标检测模型被广泛应用于在线检测设备、边缘计算终端和产线视觉控制系统。

3、然而，织物图像与自然场景图像存在明显差异。织物背景通常由经纬纱线、纤维网或规则组织结构形成，具有高重复性和强纹理性；疵点区域往往仅表现为局部灰度统计变化、纹理排列异常或微弱结构破坏，部分疵点尺度较小、边界不清晰、长宽比差异较大，并且不同疵点类别之间可能具有相似外观。轻量化检测主干受网络容量限制，在有标注样本数量不足时容易出现特征学习不充分、对细微局部异常不敏感以及跨织物类型迁移能力不足的问题。

4、为提高检测精度，相关技术通常在检测阶段增加多尺度特征融合层、注意力模块、复杂检测头或额外检测分支。上述方式虽然能够在一定程度上增强模型对局部异常和多尺度目标的表征能力，但同时会增加检测模型的参数量、计算量和显存占用，降低推理速度，不利于在算力、功耗和存储资源受限的工业终端上部署。若仅通过进一步压缩网络或减少通道数降低计算开销，又可能削弱模型对细粒度织物纹理的建模能力。

5、自监督预训练能够在不依赖人工类别标签和边界框标签的条件下，利用大量无标注织物图像学习可迁移视觉表征，为解决标注成本较高和标注样本不足的问题提供了新的技术方案。以教师-学生自蒸馏为代表的自监督方法，通常对同一图像生成多个增强视图，通过教师分支为学生分支提供跨视图一致性监督，使主干网络在无标注数据上获得初始化权重。

6、但是，现有通用自监督预训练方法直接应用于织物疵点检测时仍存在不足。第一，常规随机裁剪、翻转、颜色扰动和模糊处理主要用于构造通用外观差异，难以有针对性地模拟织物疵点所对应的局部纹理扰动，并且直接交换图像块容易在交换边界处产生明显的亮度或纹理统计断裂。第二，现有自蒸馏过程多使用主干末端单层表征，轻量化检测主干中的浅层纹理细节、中层结构信息和高层语义无法共同参与蒸馏目标构建。第三，教师目标通常由逐样本独立归一化分配得到，在重复纹理背景占据图像主体时，多个样本容易集中响应于少数原型，使预训练过程偏向学习背景共性而弱化细微疵点差异。

7、此外，部分自监督预训练结构直接针对分类网络设计，未考虑一阶段检测主干的多尺度中间特征组织方式和检测模型权重迁移方式。若预训练网络与后续检测模型在网络层、输出维度或归一化方式上不一致，容易造成预训练权重难以有效加载，或者需要在检测阶段保留额外预训练模块，从而增加推理复杂度。

8、综上所述，在有限标注织物疵点检测中，现有通用自监督预训练方法难以同时实现局部纹理扰动的有效构造、轻量化检测主干多层特征的协同利用以及教师原型分配的批次级均衡，导致预训练表征与织物疵点检测任务之间的适配程度有限。如何在不改变检测模型推理结构和不增加检测阶段计算复杂度的情况下，提高轻量化检测主干对细微局部疵点的判别表征能力是需要解决的问题。

技术实现思路

1、本发明的目的是提供基于任务感知自监督预训练的织物疵点检测方法，解决了现有技术中存在的通用自监督预训练未针对织物重复纹理和轻量化检测主干进行任务感知设计，常规视图增强对局部纹理异常模拟能力不足、末端单层蒸馏对多层特征利用不充分以及教师目标原型分配不均衡，导致有限标注织物疵点检测精度和迁移泛化能力受限的问题。

2、本发明的另一目的是提供基于任务感知自监督预训练的织物疵点检测系统。

3、本发明所采用的技术方案是，基于任务感知自监督预训练的织物疵点检测方法，包括：

4、步骤1、获取待检测织物图像；

5、步骤2、将待检测织物图像进行预处理后输入训练好的织物疵点检测模型处理后输出疵点检测结果；

6、步骤2.1、待检测织物图像输入预处理；

7、步骤2.2、检测模型前向推理生成初始候选结果；

8、步骤2.3、基于置信度阈值初筛候选框；

9、步骤2.4、非极大值抑制消除重复检测框；

10、步骤2.5、输出最终疵点检测结果。

11、本发明的特点还在于：

12、步骤2包括：

13、步骤2.1、待检测织物图像输入预处理；

14、按照检测模型预设的输入尺寸对待检测的织物图像进行尺寸调整，再执行张量化处理与对应归一化操作，使图像数据的维度排布、通道顺序和数值分布与模型训练阶段的输入保持一致，生成可直接输入检测模型的标准张量数据；

15、步骤2.2、检测模型前向推理生成初始候选结果；

16、将预处理得到的标准张量数据输入训练后的织物疵点检测模型，经由轻量化主干网络提取织物图像的多层特征后，由检测头完成计算，输出多个候选边界框、各候选框对应的疵点类别概率以及目标置信度，形成初始候选检测结果集合；

17、步骤2.3、基于置信度阈值初筛候选框；

18、读取预先设定的置信度阈值，对模型输出的全部候选边界框逐一进行判定，将目标置信度低于该阈值的候选框直接筛除，仅保留置信度达标的候选边界框及其对应的类别概率、置信度数值；

19、步骤2.4、非极大值抑制消除重复检测框；

20、对经过置信度筛选后的候选边界框执行非极大值抑制操作，针对对应同一真实疵点的多个重叠候选边界框，保留其中置信度最高的边界框，剔除其余重复的边界框，确保每个疵点仅对应一个检测结果；

21、步骤2.5、输出最终疵点检测结果；

22、将非极大值抑制处理后留存的全部检测结果进行整理汇总，最终输出待检测织物图像中每一处疵点的边界框位置、疵点类别判定结果以及对应的检测置信度。

23、训练好的织物疵点检测模型通过以下方式得到：

24、步骤a1、获取无标注织物图像和有标注织物疵点图像后进行预处理；

25、步骤a2、以轻量化一阶段目标检测模型的特征提取主干作为预训练主干，构建学生分支和教师分支；

26、步骤a3、对无标注织物图像进行多视图增强，并对多个局部视图执行统计对齐混合增强；

27、步骤a4、从教师分支和学生分支的预训练主干中提取多个层级的中间特征，构建层级自适应特征融合表征；

28、步骤a5、对教师分支输出实施中心化、温度缩放和最优传输平衡分配，根据平衡教师目标和学生分支输出计算自监督蒸馏损失；

29、步骤a6、根据自监督蒸馏损失训练学生分支，并根据学生分支对应参数对教师分支进行动量更新；

30、步骤a7、使用有标注检测数据集进行监督训练后进行评价，评价通过后得到训练好的织物疵点检测模型。

31、步骤a1包括：

32、步骤a1.1、获取不带有人工标签的织物表面图像，组成无标注预训练数据集；

33、步骤a1.2、获取有标注织物疵点图像，对疵点类别和疵点边界框位置进行标注，组成有标注检测数据集；

34、有标注织物疵点图像中的每一疵点实例至少包括类别标签和边界框位置标签；

35、步骤a1.3、将有标注检测数据集划分为检测训练集和检测验证集，并使检测验证集中的图像不参与自监督预训练；

36、步骤a1.4、将无标注预训练数据集转换为能够按训练批次输出多视图数据的数据加载结构；

37、步骤a7包括：

38、步骤a7.1、利用有标注检测数据集训练织物疵点检测模型；

39、将检测训练集中的织物图像和对应疵点类别、边界框位置输入加载了学生主干预训练权重的织物疵点检测模型，通过边界框回归损失、目标置信度损失和类别损失更新检测模型；

40、步骤a7.2、利用检测验证集评价织物疵点检测模型，若满足预设要求，得到训练好的织物疵点检测模型，若不满足预设要求继续训练该模型；

41、在检测训练过程中或者训练完成后，利用检测验证集计算精确率、召回率、平均精度和平均精度均值，若满足预设要求，得到训练好的织物疵点检测模型，若不满足预设要求继续训练该模型。

42、步骤a2包括：

43、步骤a2.1、加载轻量化一阶段目标检测模型，并截取其前部多个网络层作为自监督预训练主干；

44、轻量化一阶段目标检测模型采用yolo11n模型；

45、步骤a2.2、为学生预训练主干和教师预训练主干中的多个网络层设置前向特征提取接口；

46、在预训练主干的多个网络层设置前向钩子；当对应网络层完成前向计算时，将其输出的中间特征存入当前分支对应的特征列表；学生分支和教师分支分别使用独立的特征列表和独立的前向钩子，不在两个分支之间直接传递中间特征；

47、步骤a2.3、利用虚拟输入自动推断各中间特征的形态和通道维度，并构建层级特征适配器和门控融合块；

48、将虚拟输入送入学生预训练主干，记录设置有前向特征提取接口的多个网络层输出；对于四维卷积特征、三维序列特征和二维向量特征，分别根据对应特征形态确定聚合方式和适配器输入维度；对于其他形态特征，将除批量维度外的维度展开后确定输入维度；

49、每一中间特征对应设置一个层级特征适配器；在相邻层级之间设置一个门控融合块；教师侧层级特征适配器和门控融合块的初始结构与学生侧相同；

50、步骤a2.4、根据层级融合表征的统一表征维度构建学生投影头，并复制学生分支得到教师分支；

51、层级特征适配器将不同层级的中间特征映射至统一表征维度，门控融合块递推融合各层级表示，得到具有统一表征维度的层级融合表征；根据统一表征维度构建学生投影头，使学生投影头接收学生层级融合表征，并依次将其映射至隐藏空间、瓶颈空间和原型蒸馏空间；教师投影头采用相同结构和输出维度；复制学生分支的预训练主干、层级特征适配器、门控融合块和投影头，得到教师分支；学生投影头在训练初始阶段冻结最后一层一个预设轮次；

52、步骤a2.5、关闭教师分支的梯度，并使教师分支通过学生分支对应模块的指数移动平均进行维护；

53、教师预训练主干、教师投影头、教师层级特征适配器和教师门控融合块均不参与反向传播；教师分支仅用于根据两个全局视图生成稳定蒸馏目标；学生分支通过自监督蒸馏损失反向传播更新，教师分支在每个训练批次开始时根据学生分支对应参数进行动量更新。

54、步骤a3包括：

55、步骤a3.1、对每张无标注织物图像生成第一全局视图和第二全局视图；

56、步骤a3.2、对每张无标注织物图像生成多个局部视图；

57、教师分支仅接收两个全局视图，学生分支接收全局视图和全部局部视图，使学生分支在教师全局语义监督下学习局部与全局之间的一致关系；

58、步骤a3.3、判断局部视图数量是否满足统计对齐混合增强条件；

59、当局部视图数量小于设定阈值或者统计对齐混合增强功能被关闭时，保持全部局部视图不变；当局部视图数量不少于设定阈值时，从局部视图索引中随机选取两个索引，保留对应两个局部视图不变，以维持部分标准自蒸馏局部视图分布；将剩余局部视图索引随机打乱后两两配对；

60、步骤a3.4、针对每一对局部视图，在相同空间位置采样矩形区域；

61、步骤a3.5、提取同位置局部图像块，并对局部图像块进行通道级统计对齐；

62、针对配对的局部视图在相同区域提取局部图像块，针对源局部图像块和目标局部图像块，分别计算其在空间高度和宽度维度上的通道级均值和标准差，并将源局部图像块的局部统计分布对齐至目标局部图像块；

63、步骤a3.6、执行双向区域交换，得到增强局部视图；

64、步骤a3.7、保持统计对齐混合增强前后的局部视图数量一致；

65、当剩余局部视图数量为奇数时，最后一个未配对局部视图保持不变；当输入局部视图不是三维通道-高度-宽度张量时，对应局部视图保持不变；若处理后的局部视图数量大于原数量，则截取至原数量，若小于原数量，则使用未处理局部视图补足。

66、步骤a4包括：

67、步骤a4.1、利用层级特征适配器对多个层级的中间特征进行聚合和线性映射；

68、对于四维卷积特征图，层级特征适配器对空间高度和空间宽度求平均；对于三维序列特征，对序列维度求平均；对于二维向量特征保持不变；对于其他形态特征，将除批量维度之外的维度展开；聚合结果经线性映射转换至统一表征维度；

69、步骤a4.2、将第一层级表示作为初始累计融合表征；

70、步骤a4.3、针对第2层至第层，利用门控融合块生成逐维门控系数并执行递推融合；

71、门控融合块包括线性层、激活函数和归一化层；

72、步骤a4.4、处理累计融合表征为全零向量的退化情况；

73、当上一阶段累计融合表征中的全部元素均为0时，门控融合块直接对当前层级表示执行层归一化，并将门控系数设置为全1向量；

74、步骤a4.5、分别生成学生层级融合表征和教师层级融合表征；

75、学生分支和教师分支使用同构层级特征适配器和门控融合块，但在前向传播过程中分别处理本分支中间特征；学生侧适配器和门控融合块参与梯度更新，教师侧适配器和门控融合块根据学生侧对应参数进行指数移动平均更新；最终阶段累计融合表征作为对应分支的层级融合表征，并直接输入对应投影头；投影头不再接收预训练主干末端网络层的独立池化输出，学生分支和教师分支的蒸馏输出均由对应层级融合表征生成。

76、步骤a5包括：

77、步骤a5.1、对教师分支输出进行中心化和教师温度缩放；

78、步骤a5.2、针对每个教师全局视图构建指数核矩阵；

79、步骤a5.3、通过sinkhorn-knopp迭代对指数核矩阵执行批次级平衡分配；

80、按照预设迭代次数交替执行行归一化和列归一化，并在迭代结束后再次执行行归一化，得到批次级平衡教师目标；

81、步骤a5.4、根据平衡教师目标和学生分支输出计算非同源视图对的交叉熵蒸馏损失；

82、学生分支输出根据学生温度系数进行缩放，并执行对数归一化处理；对于两个教师全局视图和学生全部视图构成的视图对，排除教师视图与相同索引学生全局视图组成的同源视图对，使用其余视图对计算交叉熵；

83、步骤a5.5、对中心化向量进行移动平均更新；

84、每次完成损失计算后，在教师视图维度和训练批次维度上计算教师输出均值，得到当前批次中心；根据中心动量系数更新中心化向量。

85、步骤a6包括：

86、步骤a6.1、根据当前训练轮次计算教师动量系数，并更新教师分支；

87、对于教师预训练主干、教师投影头、教师层级特征适配器和教师门控融合块，均进行更新；

88、步骤a6.2、将两个全局视图输入教师分支，将两个全局视图和全部增强局部视图输入学生分支；

89、教师分支在关闭梯度的状态下进行前向传播，分别输出教师原型向量；学生分支在保留梯度的状态下对全部视图进行前向传播，输出对应学生原型向量；教师输出和学生输出均转换为浮点数后输入最优传输平衡分配损失模块；

90、步骤a6.3、根据自监督蒸馏损失更新学生分支；

91、进行学生分支前向传播和反向传播，并通过梯度缩放器降低半精度下的梯度下溢风险；损失反向传播完成后，取消学生投影头最后一层在预设早期轮次内的梯度，再执行优化器更新和梯度清零；

92、步骤a6.4、统计训练损失和门控系数；

93、在每个训练批次后累计当前自监督蒸馏损失，并记录学生侧各门控融合块的平均门控值；在每个训练轮次结束后输出平均训练损失和各门控融合块的轮次平均门控值；

94、步骤a6.5、完成预训练并保存学生分支主干权重；

95、预训练完成后，重新加载与预训练主干相对应的完整轻量化一阶段目标检测模型，将学生分支中的匹配主干权重加载至完整检测模型；对于仅用于预训练的模块，不加载至检测模型的检测头和特征融合网络。

96、本发明所采用的另一技术方案是，基于任务感知自监督预训练的织物疵点检测系统，包括数据获取模块，数据获取模块分别与多视图增强模块、迁移检测模块连接，多视图增强模块与层级融合模块连接，层级融合模块分别与预训练模型构建模块、平衡蒸馏模块、参数更新模块连接，平衡蒸馏模块与参数更新模块连接，参数更新模块与迁移检测模块连接。

97、本发明的有益效果是：

98、本发明不是在织物疵点检测阶段叠加额外复杂模块，而是将与织物疵点检测任务相关的表征增强过程前置到自监督预训练阶段。预训练完成后仅迁移学生分支中与检测模型相匹配的主干权重，教师分支、层级特征适配器、门控融合块、投影头和最优传输损失模块均不进入检测阶段，因此能够在不改变检测模型网络结构、参数量和计算量的条件下提升检测性能。

99、本发明通过仅对局部视图执行统计对齐混合增强，在保留部分标准局部视图分布的同时，对其余局部视图进行同位置区域采样、通道级局部统计对齐和双向区域交换。由此能够在局部视图中引入更丰富的纹理扰动，并避免直接图像块替换造成的亮度、对比度和纹理统计突变，使预训练主干能够学习对细微局部异常更敏感的表征。

100、本发明通过在预训练主干各网络层设置特征提取接口，利用层级特征适配器将不同形态、不同通道数的中间特征转换至统一表征空间，并使用门控融合块递推融合当前层级表示和历史累计表征，使浅层纹理细节、中层结构信息和高层语义按照逐维自适应权重共同参与自监督蒸馏，克服仅使用末端单层表征时细粒度信息利用不足的问题。

101、本发明在教师目标生成阶段引入熵正则最优传输约束，通过行归一化和列归一化使每个样本形成合法原型概率分布，并使批次内各原型获得相对均衡的分配量，从而降低重复纹理背景对少数原型的集中占用，为学生分支提供更加稳定、均衡的蒸馏监督信号。

102、本发明还针对轻量化一阶段检测主干构建了投影头、层级特征适配器和门控融合结构，并通过教师参数动量更新、投影头末层早期冻结、自动混合精度和损失计算浮点精度转换提高训练稳定性。实验结果表明，在保持检测模型参数量和计算量不变的情况下，本发明能够提高织物疵点检测的精确率、召回率和平均精度，并在低标注比例和跨数据集场景下获得更好的迁移效果。