一种基于多模态自动缺陷检测分类系统
本发明涉及工业自动化检测,具体为一种基于多模态自动缺陷检测分类系统。
背景技术:
1、工业生产过程中,产品质量检测是保障产品性能、使用可靠性的核心工序。传统采用人工目视开展缺陷检测的作业模式,检测效率偏低,检测结果易受检测人员主观经验、疲劳状态、环境光照等人为因素干扰,检测一致性较差,已难以适配现代化大规模工业生产的质检需求。
2、当前工业自动化缺陷检测技术主要分为传统机器视觉-机器学习方案与深度学习检测方案两大类。
3、其中,传统自动化缺陷检测方案依托图像处理技术结合传统机器学习算法实现缺陷判别,该类方案需要人工先验设计并提取缺陷几何形状、纹理等手工特征,再输入支持向量机等机器学习模型完成缺陷分类。该技术方案针对缺陷特征显著、缺陷类型固定的应用场景,可取得较好检测效果,同时模型具备良好可解释性。但该方案存在固有局限:当现场出现缺陷模式复杂多样、缺陷形貌与纹理波动范围大的工况时,人工预设的特征难以充分挖掘缺陷内在表征规律,会造成模型泛化能力衰减,检测性能大幅降低;尤其针对微小尺寸缺陷、低对比度缺陷,依靠固定规则与手工特征提取的技术路线,经常出现识别失效、分类错误的问题,检测精度难以保障。
4、深度学习类缺陷检测技术以卷积神经网络及其衍生网络为核心,可直接从原始图像数据中自主学习高层语义特征,无需完全依赖人工设计特征,在复杂缺陷识别任务中表现出突出性能。然而深度学习模型的收敛与性能高度依赖大规模、高准确度标注数据集支撑。在真实工业场景下,产品缺陷属于小概率事件,缺陷样本存量稀缺;同时像素级缺陷标注对人员专业度要求高,人工标注流程工作量大、时间周期长,带来极高的数据标注成本,制约深度学习技术在工业质检场景落地推广与性能进一步迭代。除此之外,对于极细微缺陷、低对比度缺陷,深度学习模型同样容易出现定位偏差、分类不准的现象;并且深度学习属于“黑箱模型”,模型推理输出结果缺乏可解释依据,不利于工业现场对缺陷检测结果复核、溯源分析。
5、现有技术中虽然已经出现多模型融合的缺陷检测改进思路,试图通过多技术结合提升检测综合性能,但现有融合方案仍存在多项待解决技术痛点:第一,缺少高质量初始训练样本自动化构建手段,数据集高度依赖人工标注,标注成本居高不下,样本质量难以保障;第二,数据集与模型缺少闭环迭代优化机制,训练完成后数据集固定,无法在训练阶段实现训练集动态迭代更新,难以驱动模型自我进化、性能持续增强;第三,在线推理阶段大多采用固定模型输出结果,不能依据待测缺陷自身几何、纹理物理属性自适应择优匹配最优推理模型,无法充分融合传统机器学习与深度学习各自技术优势,面对多尺度、多类型缺陷时,整体检测精度与系统鲁棒性仍存在较大提升空间。
技术实现思路
1、针对现有技术的不足,本发明提供了一种基于多模态自动缺陷检测分类系统,解决了现有技术中人工标注训练集成本高、传统检测方法对复杂缺陷泛化性差,以及单一深度学习模型在应对小尺寸或低对比度缺陷时精度不足的问题。
2、为实现以上目的,本发明通过以下技术方案予以实现:
3、本发明提供了一种基于多模态自动缺陷检测分类系统,包括初始样本自动生成模块、双模型协同训练模块、训练集动态优化模块、在线多模态推理模块和分类结果分诊决策模块,具体为:
4、所述初始样本自动生成模块,采集原始灰度图像,对采集的原始灰度图像进行高斯平滑滤波得到预处理后的图像,将预处理后的图像与预设的无缺陷标准模板图像做像素级灰度差分得到绝对差分图,结合灰度差分阈值及连通域分析算法定位得到初始缺陷区域;计算该区域的缺陷面积、缺陷周长、缺陷圆形度及信息熵以生成多维特征向量,依据预设面积阈值、圆形度阈值判定缺陷并分配对应初始标签,构建初始训练集;
5、所述双模型协同训练模块,利用初始训练集开展双模型协同训练,构建支持向量机作为机器学习模型;构建faster-rcnn网络作为深度学习模型;将多维特征向量输入支持向量机,将初始缺陷区域及初始标签输入faster-rcnn网络分别完成训练;
6、所述训练集动态优化模块,将所述初始训练集输入训练后的所述机器学习模型和所述深度学习模型进行回检,获取各自配对的预测类别及置信度;对高置信度未标注新候选区域补充为训练集新样本;两模型预测类别不一致时,结合模型置信度执行标签修正,得到更新后的训练集;并利用更新后的训练集进行迭代重训练,得到最终机器学习模型和最终深度学习模型;
7、所述在线多模态推理模块,采集待测图像并对其进行预处理、像素差分运算定位待测缺陷区域,计算生成待测多维特征向量;将待测多维特征向量输入所述最终机器学习模型获得第一预测结果,并将所述待测图像和待测多维特征向量输入所述最终深度学习模型获得第二预测结果;
8、所述分类结果分诊决策模块,从待测多维特征向量当中得到缺陷面积并计算新缺陷对比度,分别与预设阈值比对判别是否为小尺寸或低对比度缺陷,生成对应判别标志;依据判别标志选择第一预测结果或第二预测结果,输出最终缺陷分类结果。
9、优选的,所述初始样本自动生成模块,包括图像预处理单元、缺陷定位单元、特征提取单元和初始标注单元,具体如下:
10、所述图像预处理单元对采集的原始灰度图像采用高斯平滑滤波算法,对其进行卷积运算得到高斯卷积核;随后,将斯卷积核与原始灰度图像进行卷积,得到预处理后的图像;
11、所述缺陷定位单元预设无缺陷标准模板图像,将所述预处理后的图像与所述无缺陷标准模板图像进行像素级灰度差分运算,计算绝对差分图;随后,预设灰度差分阈值,将绝对差分图中的每个像素值与灰度差分阈值进行比较:当时,判定该像素点属于缺陷前景,否则判定为背景;
12、对全部缺陷前景的像素点执行连通域分析算法做像素聚合处理,定位得到初始缺陷区域;
13、所述特征提取单元,基于初始缺陷区域,分别计算缺陷面积、缺陷周长、缺陷圆形度和信息熵,生成多维特征向量,其中,缺陷面积通过统计初始缺陷区域内的像素总数获得,缺陷周长通过统计初始缺陷区域边缘轮廓的像素数量获得;
14、所述初始标注单元,预设判定阈值,包括面积阈值和圆形度阈值,初始标注单元对初始缺陷区域执行判断并分配初始标签。
15、更优选的,所述初始标注单元对初始缺陷区域执行判断并分配初始标签,所述初始标签包括第一标签、第二标签和第三标签,具体为:
16、若缺陷面积小于面积阈值,则判定该缺陷为“点状缺陷”,分配第一标签;
17、若缺陷面积不小于面积阈值且缺陷圆形度小于圆形度阈值,则判定该缺陷为“划痕缺陷”,分配第二标签;
18、若缺陷面积不小于面积阈值且缺陷圆形度不小于圆形度阈值,则判定该缺陷为“块状缺陷”,分配第三标签;
19、将初始缺陷区域、多维特征向量以及分配的初始标签关联存储,构建成初始训练集。
20、优选的,所述双模型协同训练模块包括机器学习模型构建单元、深度学习模型构建单元和模型训练单元,具体如下:
21、所述机器学习模型构建单元,基于初始训练集,构建支持向量机作为机器学习模型并进行训练;
22、所述深度学习模型构建单元,构建faster-rcnn网络作为深度学习模型机器学习模型,所述faster-rcnn网络包括主干网络、区域提议网络以及检测头,其中主干网络采用集成ema高效多尺度注意力机制的resnext50网络;
23、所述模型训练单元,将初始训练集中的多维特征向量输入所述支持向量机进行训练,再将所述初始训练集中初始缺陷区域和初始标签输入所述faster-rcnn网络进行训练。
24、更优选的,所述深度学习模型构建单元中,基于faster-rcnn网络,将初始缺陷区域中缺陷图像作为输入按通道维度拆分,得到多组独立子特征组,再交并行子网络同步处理各个子特征组,完成并行分支运算后计算每一个通道对应的注意力权重,再将注意力权重和子特征组做乘法运算,完成特征图通道权重重新校准。
25、优选的,所述训练集动态优化模块包括模型回检单元、漏检补全执行单元和标签修正执行单元,具体如下:
26、所述模型回检单元,将所述初始训练集中的样本输入训练后的所述机器学习模型和所述深度学习模型,将多维特征向量输入机器学习模型,将缺陷图像输入深度学习模型,获取各自配对的回检结果,包括预测类别和预测置信度,分别为接收机器学习模型输出的预测类别、预测置信度,接收深度学习模型输出的预测类别、预测置信度;
27、所述漏检补全执行单元,当所述深度学习模型在回检时检测到所述初始训练集未标注的新候选区域,且该新候选区域的预测置信度高于预设的高置信度阈值时,将该新候选区域作为新样本补充至训练集并更新训练集;
28、所述标签修正执行单元,当所述机器学习模型和所述深度学习模型的预测类别不一致时,根据缺陷是否满足预设的小尺寸条件或低对比度条件,依据条件判断结果结合两个模型的预测置信度执行标签修正逻辑处理,得到更新后的训练集;并利用更新后的训练集进行迭代重训练,得到最终机器学习模型和最终深度学习模型。
29、更优选的,所述标签修正执行单元中的标签修正逻辑处理,具体为:
30、当满足所述小尺寸条件或所述低对比度条件,且所述机器学习模型的预测置信度高于预设的信任阈值,则选择所述机器学习模型的预测类别作为修正后的标签,将修正后标签的标签写入更新后的训练集;
31、当不满足所述小尺寸条件且不满足所述低对比度条件,且所述深度学习模型的预测置信度高于所述机器学习模型的预测置信度且达到预设的安全边际值,则选择所述深度学习模型的预测类别作为修正后的标签,将修正后标签的标签写入更新后的训练集。
32、优选的,所述在线多模态推理模块包括在线特征提取单元和双轨推理执行单元,具体为:
33、所述在线特征提取单元,采集待测图像,并基于所述初始样本自动生成模块的特征提取单元,针对采集待测图像计算多维特征向量,先采用高斯平滑滤波算法对采集待测图像进行预处理,基于预设的无缺陷标准模板图像,将预处理完成的待测图像与无缺陷标准模板图像做像素差分运算,差分运算输出结果定位得到待测缺陷区域;针对定位得到的待测缺陷区域,计算该缺陷区域对应的缺陷面积、缺陷周长、缺陷圆形度,构建灰度共生矩阵并基于灰度共生矩阵计算信息熵;并对得到的缺陷面积、缺陷周长、缺陷圆形度和信息熵按照预设固定顺序排列组合,生成待测多维特征向量;
34、所述双轨推理执行单元,将所述多维特征向量输入所述最终机器学习模型以获得第一预测结果,所述最终机器学习模型针对待测多维特征向量完成分类判决,输出分类决策结果,即为第一预测结果;基于待测缺陷区域,从待测图像当中裁剪截取得到缺陷区域图像块,再将裁剪获取的缺陷区域图像块以及所述多维特征向量输入所述最终深度学习模型以获得第二预测结果。
35、更优选的,所述双轨推理执行单元中,获得第二预测结果,具体为:
36、所述最终深度学习模型采用faster-rcnn网络,先将缺陷区域图像块输入主干网络,再经过roi align层进行运算处理,输出固定尺寸的视觉特征图;将待测多维特征向量通过全连接层进行特征嵌入,输出通道维度和视觉特征图通道维度相互匹配的特征嵌入向量;对视觉特征图执行展平处理得到展平后的视觉特征向量,再将展平后的视觉特征向量与特征嵌入向量,通过通道维度拼接或者元素相加的运算方式实现特征融合得到融合特征向量;将融合特征向量输入全连接分类层,经由softmax函数计算,输出各个缺陷类别的概率分布,即为第二预测结果。
37、优选的,所述分类结果分诊决策模块包括属性判别单元和结果选择输出单元,具体如下:
38、所述属性判别单元,从待测多维特征向量当中得到缺陷面积,同时根据待测缺陷区域计算得到新缺陷对比度,预设新面积阈值以及新对比度阈值,将缺陷面积、新缺陷对比度分别与各自对应的预设阈值进行比对,并执行以下逻辑判断:当缺陷面积小于新面积阈值时,则判定该待测缺陷属于小尺寸缺陷;当缺陷对比度小于新对比度阈值时,则判定该待测缺陷属于低对比度缺陷;
39、属性判别单元依据判断结果生成对应的判别标志:若满足小尺寸缺陷、低对比度缺陷中任意一项判定条件,则将判别标志设置为第一取值,该第一取值用于指示结果选择输出单元选用第一预测结果;当小尺寸缺陷、低对比度缺陷两项判定条件均不成立,则将判别标志设置为第二取值,该第二取值用于指示结果选择输出单元选用第二预测结果;
40、所述结果选择输出单元,依据判别标志结果,当判别标志为第一取值时,所述属性判别单元判断为小尺寸缺陷或者低对比度缺陷,选择第一预测结果作为最终缺陷分类结果输出;当判别标志为第二取值时,所述属性判别单元判断为非小尺寸缺陷且非低对比度缺陷,选择第二预测结果作为最终缺陷分类结果输出。
41、本发明提供了一种基于多模态自动缺陷检测分类系统。具备以下有益效果:
42、1、本发明通过引入训练集动态优化模块,实现了对初始自动生成训练集的持续改进。该训练集动态优化模块通过模型回检、漏检补全和标签修正策略,能够自动发现并补充传统黄金模板比对方法可能遗漏的新缺陷样本,并修正初始自动标注中存在的错误标签。这一机制减少了对大量人工标注的依赖,降低了数据准备成本和时间,同时提高了训练数据集的准确性和完整性,为后续模型训练提供了更高质量的数据基础。
43、2、本发明采用双模型协同训练策略,分别利用机器学习模型处理几何形状和纹理特征,以及深度学习模型处理图像特征。在此基础上,通过分类结果分诊决策模块,根据缺陷的物理属性智能选择不同模型的预测结果。该分诊策略有效地结合了传统机器学习模型在处理特定类型缺陷时的优势,以及深度学习模型在复杂模式识别上的强大能力,避免了单一模型在特定缺陷上的性能局限,从而提升了系统整体的缺陷检测分类鲁棒性和精度。
44、3、本发明建立了训练集动态优化和模型迭代重训练的闭环机制。在系统运行过程中,通过回检和策略性修正,持续优化训练集并微调模型,使得系统能够逐步适应生产环境中可能出现的新型缺陷模式或缺陷特征的变化。这种自适应能力使得系统无需频繁进行大规模的人工干预和重新标注,增强了系统的长期稳定性和实用性,降低了后期维护成本。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com