工业缺陷检测的多模态视觉大模型优化方法及系统与流程

摘要: 本申请涉及机器视觉和工业人工智能,尤其涉及一种工业缺陷检测的多模态视觉大模型优化方法及系统。背景技术:1、随着智能制造和工业自动化水平不断提高,机器视觉已广泛应...
工业缺陷检测的多模态视觉大模型优化方法及系统与流程

本申请涉及机器视觉和工业人工智能,尤其涉及一种工业缺陷检测的多模态视觉大模型优化方法及系统。

背景技术:

1、随着智能制造和工业自动化水平不断提高,机器视觉已广泛应用于电子元器件、金属板材、玻璃制品及精密零部件等产品的外观质量检测,用于识别划痕、裂纹、缺料、污渍、变形和色差等缺陷。现有工业缺陷检测通常采用卷积神经网络或通用视觉大模型。卷积神经网络主要依赖可见光图像和大量标注样本,面对低对比度、微小尺度及复杂背景下的缺陷时,特征提取能力有限;通用视觉大模型虽具备较强的语义表征能力,但其预训练数据与工业场景差异较大,容易关注产品轮廓、传送设备及光影等非缺陷区域。部分现有方案引入深度、纹理或光谱数据,但通常采用特征拼接或固定权重融合方式,未能根据缺陷类型和模态质量调整信息贡献,容易产生特征冗余、空间错位和模态冲突。此外,通用视觉大模型参数量大、推理延迟高,难以部署于算力受限的工业边缘设备;工业缺陷样本稀缺且类别分布不均,常规全参数微调易造成过拟合及已有检测能力下降。因此,现有技术难以同时满足微弱缺陷检测精度、多模态融合效率、小样本适配能力及生产线实时部署要求。

技术实现思路

1、有鉴于此,本申请实施例提供了一种工业缺陷检测的多模态视觉大模型优化方法及系统,以解决现有技术存在的多模态融合低效、微弱缺陷识别不准、模型难以实时部署的问题。

2、本申请实施例的第一方面,提供了一种工业缺陷检测的多模态视觉大模型优化方法,包括:获取工业产品的多源视觉数据,对多源视觉数据进行时空校正和质量评估,生成多模态样本;基于多模态样本确定产品有效区域及局部异常响应,结合有效区域、异常响应和缺陷尺度调整预训练视觉大模型的注意力分布,生成工业缺陷注意力表征;提取各模态在不同特征层级的模态特征,根据各模态特征的异常贡献和可信状态确定层级融合参数,对各模态特征进行差异化融合,生成多层级缺陷融合特征;基于工业缺陷注意力表征和多层级缺陷融合特征对预训练视觉大模型进行场景适配训练,并根据模型结构单元对缺陷判别及模态融合的贡献,在性能及部署资源约束下确定结构精简参数与数值压缩参数,生成候选轻量化模型;利用类别不均衡的少量标注样本对候选轻量化模型执行增量适配,根据缺陷判别偏差及原有检测能力保持状态,确定目标多模态视觉大模型;将目标多模态视觉大模型用于工业缺陷检测,并根据检测结果与复检结果之间的偏差更新模型优化参数。

3、本申请实施例的第二方面,提供了一种工业缺陷检测的多模态视觉大模型优化系统,包括:获取模块,用于获取工业产品的多源视觉数据,对多源视觉数据进行时空校正和质量评估,生成多模态样本;调整模块,用于基于多模态样本确定产品有效区域及局部异常响应,结合有效区域、异常响应和缺陷尺度调整预训练视觉大模型的注意力分布,生成工业缺陷注意力表征;融合模块,用于提取各模态在不同特征层级的模态特征,根据各模态特征的异常贡献和可信状态确定层级融合参数,对各模态特征进行差异化融合,生成多层级缺陷融合特征;训练模块,用于基于工业缺陷注意力表征和多层级缺陷融合特征对预训练视觉大模型进行场景适配训练,并根据模型结构单元对缺陷判别及模态融合的贡献,在性能及部署资源约束下确定结构精简参数与数值压缩参数,生成候选轻量化模型;适配模块,用于利用类别不均衡的少量标注样本对候选轻量化模型执行增量适配,根据缺陷判别偏差及原有检测能力保持状态,确定目标多模态视觉大模型;更新模块,用于将目标多模态视觉大模型用于工业缺陷检测,并根据检测结果与复检结果之间的偏差更新模型优化参数。

4、本申请实施例采用的上述至少一个技术方案能够达到以下有益效果:

5、通过获取工业产品的多源视觉数据,对多源视觉数据进行时空校正和质量评估,生成多模态样本;基于多模态样本确定产品有效区域及局部异常响应,结合有效区域、异常响应和缺陷尺度调整预训练视觉大模型的注意力分布,生成工业缺陷注意力表征;提取各模态在不同特征层级的模态特征,根据各模态特征的异常贡献和可信状态确定层级融合参数,对各模态特征进行差异化融合,生成多层级缺陷融合特征;基于工业缺陷注意力表征和多层级缺陷融合特征对预训练视觉大模型进行场景适配训练,并根据模型结构单元对缺陷判别及模态融合的贡献,在性能及部署资源约束下确定结构精简参数与数值压缩参数,生成候选轻量化模型;利用类别不均衡的少量标注样本对候选轻量化模型执行增量适配,根据缺陷判别偏差及原有检测能力保持状态,确定目标多模态视觉大模型;将目标多模态视觉大模型用于工业缺陷检测,并根据检测结果与复检结果之间的偏差更新模型优化参数。本申请能够提高多模态融合有效性、提升微弱缺陷检测精度、降低模型推理开销。

1.一种工业缺陷检测的多模态视觉大模型优化方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述获取工业产品的多源视觉数据,对所述多源视觉数据进行时空校正和质量评估,生成多模态样本,包括:

3.根据权利要求1所述的方法,其特征在于,所述基于所述多模态样本确定产品有效区域及局部异常响应,结合有效区域、异常响应和缺陷尺度调整预训练视觉大模型的注意力分布,生成工业缺陷注意力表征,包括:

4.根据权利要求1所述的方法,其特征在于,所述提取各模态在不同特征层级的模态特征,根据各模态特征的异常贡献和可信状态确定层级融合参数,对各模态特征进行差异化融合,生成多层级缺陷融合特征,包括:

5.根据权利要求4所述的方法,其特征在于,所述按照特征层级、异常贡献和可信状态生成包含融合权重及交互范围的层级融合参数,包括:

6.根据权利要求1所述的方法,其特征在于,所述基于所述工业缺陷注意力表征和多层级缺陷融合特征对预训练视觉大模型进行场景适配训练,并根据模型结构单元对缺陷判别及模态融合的贡献,在性能及部署资源约束下确定结构精简参数与数值压缩参数,生成候选轻量化模型,包括:

7.根据权利要求6所述的方法,其特征在于,所述联合确定各模型结构单元的保留状态、结构精简程度和参数表示精度,包括:

8.根据权利要求1所述的方法,其特征在于,所述利用类别不均衡的少量标注样本对所述候选轻量化模型执行增量适配,根据缺陷判别偏差及原有检测能力保持状态,确定目标多模态视觉大模型,包括:

9.根据权利要求1所述的方法,其特征在于,所述将所述目标多模态视觉大模型用于工业缺陷检测,并根据检测结果与复检结果之间的偏差更新模型优化参数,包括:

10.一种工业缺陷检测的多模态视觉大模型优化系统,其特征在于,包括: