一种模切产品的品控方法与流程

本发明涉及视觉检测，尤其是一种通过多阶段缺陷分布图对齐实现缺陷成因工序定位、并结合混合专家模型与rag技术进行根因分析与品控策略输出的模切产品的品控方法。

背景技术：

1、模切产品是指从长幅膜材上通过切割加工而成的形状一致的产品，其生产过程通常包括膜传输、涂层、贴膜、压合、切割分段、模切等多道工序，且上述工序可能多次执行，执行顺序也可能存在多种排列。在多工序模切产品生产中，缺陷的成因追溯是一项关键技术难题；同一最终缺陷可能产生于多道工序中的任意一道，快速准确定位缺陷产生的工序阶段，对于缩小根因分析范围、制定有效品控策略至关重要。

2、现有技术中，模切产品缺陷的成因追溯主要有以下三种方案：

3、（一）人工经验方案

4、检出缺陷后，由质量部门人员对照实物进行观察，依据经验进行分析，得出缺陷可能由哪些环节中的故障或异常造成，然后逐一排查。该方案存在明显缺陷：不同人员的经验和素质不同，分析效果参差不齐；即使是同一人员，也会受到各种主观因素影响导致判断不稳定；人力成本高、效率低下。

5、（二）大数据分析方案

6、通过建立mes系统收集生产过程中的各种监控数据，通过数据挖掘预测缺陷成因。然而，该方案的分析对象是整个生产过程的全部监控数据，数据量庞大且繁杂。此外，mes系统在存储数据时需要对每个缺陷对应的产品进行标记，标记本身可能对产品造成二次伤害。

7、（三）基于rag技术的方案

8、将理论知识和相关人员的经验整理成知识库，结合大语言模型构建基于rag（检索增强生成）技术的问答系统，获取缺陷形成原因。然而，传统rag技术高度依赖知识库质量，高质量专业领域知识库的构建难度极大；且一种缺陷可能由多重原因造成时，难以进行排查定位。

9、此外，中国专利cn106458495b公开了一种裁剪产品的生产方法及裁剪系统，其中涉及基于坯料缺陷信息生成缺陷分布图、并沿裁剪线分割缺陷分布图的技术。该专利的缺陷分布图基于缺陷相对于基准点的x-y坐标生成。然而，该方案仅涉及单次缺陷分布图的生成与分割，并未涉及多工序间缺陷分布图的对齐与缺陷成因的工序定位。

10、中国专利cn116664633b公开了一种基于卷积交叉注意力机制的印刷品图像配准方法；另有文献公开了基于交叉注意力的多尺寸窗口transformer网络布匹图像配准方法。然而，上述方案均将交叉注意力用于通用图像配准任务，未涉及将其应用于模切产品缺陷小图的相似度判断与缺陷配对。

11、混合专家模型（mixtureofexperts,moe）在图像分类领域已有应用。然而，现有技术中未见将moe架构与迭代训练机制相结合、用于图像相似度计算专家网络自动选择的方案，更未见将其应用于模切产品缺陷小图配对场景。

12、综上所述，现有技术中缺乏一种能够自动、高效、准确地对模切产品多工序缺陷进行成因工序定位并进行根因分析与品控策略输出的完整品控方案。

技术实现思路

1、本发明要解决的技术问题是：提供一种模切产品的品控方法，解决现有模切产品生产中缺陷成因追溯依赖人工经验导致的不稳定与低效率、大数据分析数据量庞大且需额外标记产品、以及传统rag技术依赖高质量知识库且难以处理多重原因缺陷等技术问题。

2、本发明解决其技术问题所采用的技术方案是：一种模切产品的品控方法，包括以下步骤：

3、构建各生产阶段的缺陷分布图：对模切产品各生产阶段的膜材成像进行缺陷检测，提取各缺陷的坐标点并拼接，形成对应各生产阶段的缺陷点集分布图，选取最初生产工序阶段的缺陷分布图作为缺陷分布基准图；

4、全局定位对齐：对各阶段缺陷分布图分别提取形状特征，通过支持旋转、平移、缩放的模板匹配与缺陷分布基准图进行匹配，拟合得到各阶段缺陷分布图到基准图的全局仿射变换矩阵，完成各阶段缺陷分布图的全局粗对齐；

5、局部精定位对齐：按生产工序先后顺序，对相邻两阶段中后一阶段的缺陷分布图进行分块聚类，逐块与前一阶段对应区域进行缺陷小图相似度匹配与模板匹配，得到局部分块的仿射变换参数，完成逐块的局部精对齐；

6、缺陷成因阶段判定：沿生产工序逆向追溯各缺陷在前置阶段的对应位置，将缺陷首次出现的生产阶段判定为该缺陷的形成阶段；

7、缺陷根因分析与品控输出：结合缺陷形成阶段的生产监控数据与缺陷属性，通过知识库与大语言模型生成缺陷根因及对应的品控策略。

8、进一步的说，本发明所述构建各生产阶段的缺陷分布图具体包括：

9、提取每个缺陷连通域的质心坐标，或缺陷检测矩形框的中心坐标；以膜材传送方向为x轴、幅宽方向为y轴建立坐标系，将分段成像的缺陷坐标拼接为连续的缺陷点集分布图；选取生产流程中第一工序阶段的缺陷分布图作为缺陷分布基准图。

10、进一步的说，本发明所述全局定位对齐中的形状特征提取步骤具体包括：

11、采用预设尺寸的滑动窗口在缺陷分布图上遍历滑动，保留窗口内缺陷点数大于预设阈值的窗口；对重叠的保留窗口执行局部非极大值抑制，保留缺陷点数最多的窗口；当存在多个点数相同的最多窗口时，选取位置处于所有窗口最中间的窗口；将保留窗口内的所有缺陷点连接为多边形，作为该窗口的形状特征。

12、再进一步的说，本发明所述全局仿射变换矩阵的拟合步骤具体包括：

13、将各阶段提取的多边形形状特征，在缺陷分布基准图中进行模板匹配，得到多组候选仿射变换矩阵；在基准图的二维空间内随机生成坐标点，经各组候选矩阵变换后拟合二维正态分布，计算出方差与期望，将期望周围距离在2倍方差以上的点对应的矩阵剔除；对剩余候选矩阵的平移分量取均值，对旋转分量进行极分解后重组，得到最终的全局仿射变换矩阵。

14、进一步的说，本发明所述局部精定位对齐中的缺陷聚类与配对步骤具体包括：

15、按生产工序先后顺序取相邻的前一阶段与后一阶段缺陷分布图，对后一阶段的缺陷分布图进行缺陷聚类：将已选中窗口内的缺陷作为中心缺陷，采用knn聚类方法将未选中窗口的缺陷归属至距离最近的中心缺陷，形成多个缺陷块；

16、对每个缺陷块，在前一阶段缺陷分布图的对应区域向外膨胀预设像素作为搜索区域，将该缺陷块的中心缺陷对应的缺陷小图，与搜索区域内的缺陷小图逐一计算图像相似度，完成缺陷配对。

17、再进一步的说，本发明所述图像相似度通过交叉注意力相似度网络计算，所述网络包括卷积编码器、交叉注意力层和输出层：

18、卷积编码器包含一级卷积与三级可分离卷积，将输入的缺陷小图编码为多通道特征图，并展开为二维特征向量组；

19、交叉注意力层为双层多头结构，对两幅输入图像的特征向量组进行交叉注意力特征交互；

20、输出层依次经过全局平均池化、差值与乘积特征拼接、多级全连接层，最终经sigmoid激活输出相似度得分。

21、更进一步的说，本发明所述交叉注意力相似度网络采用混合专家moe架构，包含n_s个相似度计算子网络与moe分类模块；通过迭代训练为每个相似度计算子网络分配专属样本集，由moe分类模块根据输入图像自动匹配最优的相似度计算子网络。

22、进一步的说，本发明完成缺陷配对后，通过模板匹配moe模块从预设的多种模板匹配算法中自动选择最优匹配算法；以配对的前一阶段缺陷小图为基准，对后一阶段缺陷小图执行模板匹配，得到该缺陷块的局部仿射变换参数，完成该块的局部精对齐。

23、进一步的说，本发明所述缺陷成因阶段判定具体包括：

24、完成所有生产阶段的缺陷分布图对齐后，针对目标缺陷从最终生产阶段沿工序逆向逐阶段追溯对应位置；当某一前置阶段的对应位置不存在该缺陷时，判定该缺陷形成于所述前置阶段的后一生产阶段。

25、进一步的说，本发明所述缺陷根因分析与品控输出具体包括：

26、确定缺陷形成阶段后，提取该阶段的生产过程监控数据，结合缺陷的类别、形状、严重程度属性，输入基于rag的成因知识库与大语言模型，推理得到缺陷根因；再将缺陷根因输入品控策略知识库与大语言模型，生成对应的品控优化策略。

27、本发明的有益效果是，解决了背景技术中存在的缺陷，

28、1、相较于依赖人工经验的方案，本发明整个过程全自动运行，无需人工参与，消除了人为因素导致的判断不稳定问题，大幅提高了分析效率，节约了人工成本。

29、2、相较于大数据分析方案，本发明使用不同阶段成像对齐、缺陷分布对比的方法确定缺陷形成的生产阶段，以缺陷自身作为标志点进行对齐，无需额外给产品做标记，从根本上避免了标记可能对产品造成的二次伤害。同时，通过将分析范围从全部mes数据缩小到缺陷形成阶段的局部数据，数据处理量大幅减少。

30、3、相较于传统rag方案，本发明先通过图像对齐和缺陷阶段追溯确定缺陷的形成阶段，将缺陷成因的排查范围从全部工序缩小到单一工序阶段，使得rag系统只需针对该阶段的工艺知识进行检索，成因知识库的规模和复杂度大幅降低，知识库构建难度显著下降。同时，由于排查范围被精确限定，对于一种缺陷可能由多重原因造成的情况，也能够通过聚焦单一阶段的mes数据和工艺知识进行有效排查定位。

31、4、本发明提出的基于混合专家模型的图像相似度计算方案，通过迭代训练多个专家网络并利用moe模块自动选择最合适的专家网络，能够针对不同类型、不同形态的缺陷自适应地选择最优的相似度计算策略，相比单一相似度计算网络具有更高的配对精度和更强的泛化能力。

32、5、本发明在图像相似度计算中引入交叉注意力网络，使两幅缺陷小图的特征在深层进行充分交互，能够更准确地捕捉缺陷在前后工序间的形态对应关系，提高了缺陷配对的准确率。

33、6、本发明通过模板匹配moe模块根据输入图像自动选择最优的模板匹配算法（ncc、轮廓匹配、surf匹配或频域匹配），避免了单一模板匹配算法在不同场景下适应性不足的问题，提高了局部精定位的对齐精度。