基于预训练大模型的智能视觉图像检测系统的制作方法

本发明涉及人工智能视觉检测，具体涉及一种基于预训练大模型的智能视觉图像检测系统，尤其适用于新能源电池极片检测、3c精密结构件检测、半导体晶圆检测等对超高分辨率工业图像进行缺陷检测的产线场景，可实现兼顾预训练大模型泛化能力与工业产线毫秒级检测节拍要求的智能视觉图像检测。

背景技术：

1、随着工业制造向高端化发展，智能视觉检测系统已成为产线质量控制的重要组成部分，传统机器视觉方案依赖人工设计的图像处理算子实现缺陷识别，需针对特定产品反复调参，泛化能力较弱，基于卷积神经网络的深度学习小模型广泛应用于工业检测领域，属于小样本闭集模型，检测能力依赖训练数据分布，面对复杂背景、反光材质及未知缺陷类型时容易漏检和误检，且产品换型或新增缺陷类别时均需重新采集标注数据并训练模型，迭代成本较高。

2、预训练视觉大模型通过海量自然图像数据预训练，具备较强的零样本泛化能力和语义理解能力，与本发明最接近的现有技术为将预训练视觉大模型直接或经简单微调后应用于工业图像检测，该方案先将原始高分辨率图像整体缩放至大模型固定输入尺寸，或采用固定尺寸滑动窗口将原图切分为多个子图，再依次输入预训练大模型的视觉编码器提取特征，最后通过分类头或检测头输出判定结果并汇总得到整图检测结论。

3、上述方案对输入图像不加区分地统一送入大模型进行全量推理，存在以下问题：微小缺陷在整体缩放中容易被压缩丢失导致漏检，滑动窗口切图丢失全局拓扑上下文信息，容易将安装孔、边缘倒角等正常结构误判为异常导致误检，逐一推理全部子图使耗时随分辨率提高大幅增加，难以满足产线毫秒级检测节拍要求，因此，亟需一种既能发挥大模型泛化优势，又能满足产线实时性要求的智能视觉图像检测方案。

技术实现思路

1、本发明要解决的技术问题是：如何在保证工业产线高并发、毫秒级检测节拍的前提下，将预训练视觉大模型的泛化能力和语义理解能力应用于超高分辨率工业图像的缺陷检测，克服大模型固定小尺寸输入与超高分辨率图像之间的分辨率矛盾，以及大模型算力开销与工业现场边缘算力有限、实时性要求高之间的效率矛盾，从而降低复杂背景、反光材质及未知缺陷场景下的漏检率和误检率。

2、为解决上述技术问题，本发明提供一种基于预训练大模型的智能视觉图像检测系统，包括图像采集模块、异常感知路由模块、自适应裁剪路由模块、双流大模型精判模块以及结果输出模块。

3、所述图像采集模块用于获取产线产品的高分辨率原始图像，并生成与所述高分辨率原始图像对应的低分辨率全局图。

4、所述异常感知路由模块采用轻量级卷积神经网络对所述低分辨率全局图进行区域级特征提取，得到各图像区域的异常置信度分数，并依据预设的低置信度阈值对各图像区域进行判定：对异常置信度分数低于所述低置信度阈值的图像区域执行提前退出处理并直接判定为合格区域，不再对该区域进行后续计算；对异常置信度分数不低于所述低置信度阈值的图像区域标记为疑似异常区域，进入后续裁剪流程。

5、所述自适应裁剪路由模块针对所述疑似异常区域，基于类激活热力图与连通域分析动态生成裁剪边界框，并按比例外扩、坐标映射后从所述高分辨率原始图像中裁剪出对应的高分辨率局部图块，实现由粗略响应区域到精确高分辨率图块的转换，避免传统固定滑动窗口切图策略造成的全局拓扑割裂问题。

6、所述双流大模型精判模块包括主干网络参数处于冻结状态的预训练视觉大模型，以及插入于所述预训练视觉大模型交叉注意力层中的双流提示适配器模块。所述低分辨率全局图对应的全局标记序列与所述高分辨率局部图块对应的局部标记序列分别经所述双流提示适配器模块的低秩投影层映射为查询向量、键向量与值向量后，通过双向交叉注意力计算实现全局语义流与局部纹理流的融合，使所述预训练视觉大模型在不调整主干网络参数的前提下，兼顾全局拓扑上下文理解与微小瑕疵的精准定位，并依据融合后的特征输出所述疑似异常区域的检测结果和缺陷类型语义解释。

7、所述结果输出模块用于汇总所述合格区域对应的合格结论与所述双流大模型精判模块输出的检测结果，得到整幅所述高分辨率原始图像的检测结论，并将该检测结论输出至产线控制系统。

8、在一种优选实施方式中，本发明所述系统还包括知识蒸馏训练模块，用于以所述双流大模型精判模块输出的深层特征图与逻辑归因向量为监督信号，通过特征级蒸馏损失与逻辑级蒸馏损失联合训练所述异常感知路由模块的网络参数，使所述异常感知路由模块在不增加参数量的前提下获得接近所述预训练视觉大模型的缺陷敏感度，从而进一步降低漏检率和误检率。

9、本发明能够达到的有益效果包括：

10、其一，通过所述异常感知路由模块对高分辨率原始图像进行毫秒级初步筛查，并对判定为合格的区域执行提前退出处理，仅将疑似异常区域裁剪为高分辨率局部图块后送入所述预训练视觉大模型进行精判，从而大幅降低系统平均计算负载，使整体检测节拍满足工业产线实时性要求。

11、其二，通过所述自适应裁剪路由模块基于类激活热力图动态定位疑似异常区域并进行外扩与坐标映射，避免了传统固定滑动窗口切图策略造成的全局拓扑信息丢失，降低了因缺乏全局上下文而产生的误检。

12、其三，通过所述双流提示适配器模块在所述预训练视觉大模型的交叉注意力层同时注入全局低分辨率语义流与局部高分辨率纹理流，使所述预训练视觉大模型在不增加主干网络计算量的前提下兼顾全局语义理解与局部细节感知，进一步降低漏检率和误检率。

13、其四，由于所述双流大模型精判模块冻结了预训练视觉大模型的主干网络参数，仅对所述双流提示适配器模块进行训练，避免了全参数微调导致的灾难性遗忘问题，同时大幅降低了训练所需的显存和算力成本，具备工程落地可行性。

1.一种基于预训练大模型的智能视觉图像检测系统，其特征在于，包括：

2.根据权利要求1所述的系统，其特征在于，所述自适应裁剪路由模块具体用于：

3.根据权利要求1所述的系统，其特征在于，所述双流提示适配器模块具体用于：

4.根据权利要求3所述的系统，其特征在于，所述双流大模型精判模块还包括检测头和语义解释头，所述检测头用于依据所述融合特征输出所述疑似异常区域的检测结果，所述语义解释头用于依据所述融合特征输出所述疑似异常区域的缺陷类型语义解释。

5.根据权利要求1所述的系统，其特征在于，还包括知识蒸馏训练模块，所述知识蒸馏训练模块用于以所述双流大模型精判模块输出的深层特征图和逻辑归因向量为监督信号，对所述异常感知路由模块的网络参数进行训练：

6.一种基于预训练大模型的智能视觉图像检测方法，其特征在于，包括：

7.根据权利要求6所述的方法，其特征在于，在所述高分辨率原始图像上定位并裁剪出与所述疑似异常区域对应的高分辨率局部图块的步骤包括：

8.根据权利要求6所述的方法，其特征在于，通过所述双流提示适配器模块进行双向交叉注意力融合的步骤包括：

9.根据权利要求6所述的方法，其特征在于，还包括：

10.根据权利要求8所述的方法，其特征在于，依据所述融合特征输出所述疑似异常区域的检测结果的步骤还包括：