基于多模态AI感知的服装结构缺陷计算机视觉自动检测方法及系统

本技术涉及智能质检，更具体地说，本技术涉及一种基于多模态 ai感知的服装结构缺陷计算机视觉自动检测方法及系统。

背景技术：

1、服装制造业的智能化升级对产品质量检测提出了更高要求。传统的服装缺陷检测主要依赖人工目视检查或单一可见光视觉系统，前者效率低下且一致性难以保证，后者在复杂面料纹理、反光材质、隐蔽性缺陷等场景下漏检率居高不下。近年来，多模态感知技术，例如结构光三维成像、红外热成像、多光谱成像等被引入服装质检领域，通过不同物理特性的感知通道获取互补信息，为解决单一模态的局限性提供了新思路。

2、然而，现有的多模态服装缺陷检测方法在多模态信息融合过程中，普遍采用简单的通道拼接或逐元素相加等早期融合策略，或对各模态特征进行等权重加权融合，这导致了两个突出问题：首先，简单的线性融合策略无法充分建模不同模态特征之间的复杂非线性交互关系，当某一模态受到噪声干扰（如光照剧烈变化、面料反光过曝）时，其低质量特征会直接污染融合结果，拉低整体检测性能；其次，现有融合方法缺乏对模态间语义对齐的显式建模，不同模态的特征可能源于同一物理位置但表征完全不同的语义概念，直接拼接会造成语义混淆，降低特征的表征能力。

3、此外，现有检测模型普遍仅输出确定性的缺陷预测结果，缺乏对预测不确定性的量化评估。在实际生产环境中，检测模型在面对未知分布的新缺陷形态或边缘模糊的可疑区域时，往往会给出高置信度的错误判断，操作人员难以获知哪些检测结果需要人工介入复核，导致质检系统在无人值守场景下存在严重的信任危机。

技术实现思路

1、本技术提供一种基于多模态ai感知的服装结构缺陷计算机视觉自动检测方法及系统，通过模态间交叉注意力交互与不确定性量化评估的协同机制，显著提升了复杂工况下服装结构缺陷检测的精度与可靠性。

2、第一方面，本技术提供一种基于多模态ai感知的服装结构缺陷计算机视觉自动检测方法，包括：

3、获取至少两种模态的服装感知数据，通过多尺度特征金字塔网络分别提取各模态的多层级特征图，所述多层级特征图包含不同空间分辨率的语义信息；

4、将各模态的多层级特征图输入模态间交叉注意力交互网络，以其中一个模态的特征为查询，其余模态的特征为键和值进行交叉注意力计算，生成模态间语义对齐的增强特征表示，并将各模态的增强特征表示进行同尺度逐层融合，获得多模态联合特征图；

5、将所述多模态联合特征图输入基于全卷积架构的缺陷检测网络，通过密集预测方式输出每个空间位置的缺陷存在性得分图，所述缺陷存在性得分图表征各像素属于预设缺陷类别的置信度；

6、在测试阶段启用缺陷检测网络中的随机失活层，对同一输入进行多次前向推理，得到多个缺陷存在性得分图，计算多个得分图的像素级均值作为最终缺陷检测结果，计算多个得分图的像素级方差生成不确定性热力图，基于不确定性热力图标记需人工复核的区域。

7、优选的，获取至少两种模态的服装感知数据，通过多尺度特征金字塔网络分别提取各模态的多层级特征图具体包括：

8、对于每种模态，采集该模态对应的原始感知数据；其中，二维可见光模态采集服装面料的高分辨率可见光图像，三维结构光模态采集服装裁片的深度点云数据，短波红外模态采集缝制区域的短波红外光谱图像；

9、每种模态下可采集一个或多个数据样本；

10、对所采集的原始感知数据进行预处理，所述预处理包括光照校正、空间配准及尺度归一化；

11、通过预训练的卷积神经网络骨干网络提取初始特征，并将初始特征送入特征金字塔网络，通过自顶向下的路径增强和横向连接，输出多个尺度的特征图，组合为所述多层级特征图。

12、优选的，将各模态的多层级特征图输入模态间交叉注意力交互网络，以其中一个模态的特征为查询，其余模态的特征为键和值进行交叉注意力计算，生成模态间语义对齐的增强特征表示，并将各模态的增强特征表示进行同尺度逐层融合，获得多模态联合特征图具体包括：

13、为预设缺陷类别中的每个缺陷类别，初始化一组可学习的类别原型查询向量，所述缺陷类别包含面料疵点、缝制缺陷、尺寸偏差、结构不对称中的至少两种；

14、对于特征金字塔的每个尺度，分别以至少两个模态的特征为查询，其余模态的特征为键和值进行交叉注意力计算；以可见光模态该尺度的特征图为查询，分别以三维结构光模态和短波红外模态对应尺度的特征图为键和值，计算第一组交叉注意力权重；再以三维结构光模态该尺度的特征图为查询，分别以可见光模态和短波红外模态对应尺度的特征图为键和值，计算第二组交叉注意力权重；

15、将第一组交叉注意力权重分别与三维结构光模态和短波红外模态的特征图相乘后相加，将第二组交叉注意力权重分别与可见光模态和短波红外模态的特征图相乘后相加，再将两组结果融合，得到该尺度的跨模态交互特征；将跨模态交互特征与类别原型查询向量计算相似度，得到类别注意力权重；

16、利用类别注意力权重对跨模态交互特征进行加权汇聚，并通过残差连接与原始特征相加，生成所述增强特征表示；

17、将各尺度的增强特征表示在通道维度进行拼接并通过卷积融合层降维，得到所述多模态联合特征图。

18、优选的，将所述多模态联合特征图输入基于全卷积架构的缺陷检测网络，通过密集预测方式输出每个空间位置的缺陷存在性得分图具体包括：

19、构建基于解码器主导的全卷积缺陷检测网络，所述解码器通过跳跃连接融合不同尺度的特征并逐步恢复空间分辨率；

20、将所述多尺度多模态联合特征图分别输入解码器的对应层级，通过上采样块和卷积层进行跨尺度融合细化；

21、经过多个上采样块和卷积层细化，逐步恢复至原始输入分辨率；

22、在解码器的最后一层附加1×1 卷积层和sigmoid 激活函数，输出所述缺陷存在性得分图，其中每个像素值介于0到1之间，表示该像素存在缺陷的置信度。

23、优选的，在测试阶段启用缺陷检测网络中的随机失活层，对同一输入进行多次前向推理，得到多个缺陷存在性得分图，计算多个得分图的像素级均值作为最终缺陷检测结果，计算多个得分图的像素级方差生成不确定性热力图，基于不确定性热力图标记需人工复核的区域具体包括：

24、在测试阶段启用缺陷检测网络所有卷积层后的随机失活层，设定失活概率；对同一输入的多模态联合特征图进行多次前向推理，每次推理时随机失活不同的神经元，得到多个缺陷存在性得分图的采样结果；

25、计算多个采样结果在每个像素位置上的均值和方差，以均值作为该位置的最终缺陷存在性得分，以方差作为该位置的不确定性估计值，生成不确定性热力图；

26、对于每个像素位置，若其不确定性估计值超过预设第一阈值，则将该位置标记为高不确定性区域；若整图的平均不确定性超过预设第二阈值，则将该样本标记为需人工复核样本。

27、优选的，所述基于不确定性热力图标记需人工复核的区域还包括：

28、将高不确定性区域的边界框坐标、缺陷类别预测结果和不确定性值进行关联存储；

29、生成包含原始多模态图像、缺陷检测结果和不确定性热力图的复核报告；将复核报告推送至人工复核终端，供质检员进行确认和修正。

30、优选的，还包括：基于所述最终缺陷检测结果和不确定性热力图，对不确定度超过预设报警阈值的样本自动标记为需人工复核样本，并将该样本的多模态原始数据和检测结果推送至人工复核终端。

31、第二方面，本技术提供一种基于多模态ai感知的服装结构缺陷计算机视觉自动检测系统，包括：

32、感知获取模块，用于获取至少两种模态的服装感知数据，通过多尺度特征金字塔网络分别提取各模态的多层级特征图，所述多层级特征图包含不同空间分辨率的语义信息；

33、跨模态融合模块，用于将各模态的多层级特征图输入模态间交叉注意力交互网络，以其中一个模态的特征为查询，其余模态的特征为键和值进行交叉注意力计算，生成模态间语义对齐的增强特征表示，并将各模态的增强特征表示进行同尺度逐层融合，获得多模态联合特征图；

34、缺陷检测模块，用于将所述多模态联合特征图输入基于全卷积架构的缺陷检测网络，通过密集预测方式输出每个空间位置的缺陷存在性得分图，所述缺陷存在性得分图表征各像素属于预设缺陷类别的置信度；

35、不确定性评估模块，用于在测试阶段启用缺陷检测网络中的随机失活层，对同一输入进行多次前向推理，得到多个缺陷存在性得分图，计算多个得分图的像素级均值作为最终缺陷检测结果，计算多个得分图的像素级方差生成不确定性热力图，基于不确定性热力图标记需人工复核的区域。

36、第三方面，本技术提供一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器存储有代码，所述处理器被配置为获取所述代码，并执行上述基于多模态ai感知的服装结构缺陷计算机视觉自动检测方法。

37、第四方面，本技术提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述基于多模态ai感知的服装结构缺陷计算机视觉自动检测方法。

38、本技术公开的实施例提供的技术方案具有以下有益效果：

39、本技术通过模态间交叉注意力交互网络与蒙特卡洛不确定性量化评估的协同设计，突破了传统多模态融合与检测的技术瓶颈。首先，引入双向模态间交叉注意力机制，分别以不同模态的特征为查询和键值，实现模态间信息的双向流动与互补，有效解决了简单拼接带来的语义混淆与噪声污染问题，充分发挥了各模态在缺陷表征上的互补优势。其次，采用基于蒙特卡洛随机失活的多次推理框架，通过模拟模型参数的随机扰动获得检测结果的统计分布，以方差量化逐像素的认知不确定性与偶然不确定性，实现了对检测结果可靠性的精准评估。进一步地，系统将不确定性热力图与自动复核策略联动，对高不确定度样本和高不确定性区域自动触发人工介入流程，构建了人机协同的闭环质检体系。综上所述，本技术通过模态间交叉注意力交互与不确定性量化评估的协同机制，显著提升了多模态服装缺陷检测系统在复杂工况下的检测精度与可信任度。