基于热力重建的缺陷检测及定位方法、装置和电子设备与流程
本申请涉及工业自动光学检测(aoi)与智能分析领域,具体涉及一种基于热力重建的缺陷检测及定位方法、装置和电子设备。
背景技术:
1、随着高端精密制造与工业互联网的快速发展,对生产线产出的工件(如半导体芯片、电子元件、精密结构件等)质量要求日益严苛,因此,在生产过程中及时、准确地检测出缺陷,并进一步定位缺陷成因、实现质量风险的主动预警与工艺闭环控制,对于保障良率、提升生产效能至关重要。
2、目前主流的缺陷检测技术方案中:1.基于传统图像处理与刚性规则的检测方法:通过预先设定的阈值或规则来判断缺陷,采用边缘检测、模板匹配、阈值分割等算法进行判定,容易出现规则过于僵化,难以适应生产现场光照变化、材料批次差异或工艺正常波动的问题,导致漏检与伪缺陷,且规则维护依赖专家经验,调试工作量大,知识难以沉淀和复用;2.基于深度学习等数据驱动模型的检测方法:利用大量标注的缺陷样本训练卷积神经网络等模型,而由于模型的判断逻辑不透明,容易导致检测结果在工艺调整、验收审计及责任追溯时面临困难,可信度与可接受度不足;3.集成化的检测系统平台:集成了前述一种或多种算法以执行检测任务,主要聚焦于单点缺陷的发现,缺乏对批次、时段或产线维度的质量数据进行深度关联分析与智能总结的能力。
3、因此现有缺陷检测及定位方法的准确率、可审计性和智能化程度都仍需提升。
技术实现思路
1、本申请实施例提供了一种基于热力重建的缺陷检测及定位方法、装置和电子设备,以至少解决现有缺陷检测及定位方法的准确率、可审计性和智能化程度低的问题。
2、根据本申请实施例的一个方面,提供了一种基于热力重建的缺陷检测及定位方法,其特征在于,包括:获取待检测图像和待检测图像对应的检测需求;根据待检测图像和检测需求构建目标热力图;对目标热力图计算异常评分,得到异常评分集合;将目标热力图、待检测图像和异常评分集合输入缺陷检测及定位模型,输出标注有缺陷区域的目标图像和缺陷元数据。
3、根据本申请实施例的另一方面,还提供了一种基于热力重建的缺陷检测及定位装置,包括:获取单元,用于获取待检测图像和待检测图像对应的检测需求;构建单元,用于根据待检测图像和检测需求构建目标热力图;计算单元,用于对目标热力图计算异常评分,得到异常评分集合;输出单元,用于将目标热力图、待检测图像和异常评分集合输入缺陷检测及定位模型,输出标注有缺陷区域的目标图像和缺陷元数据。
4、可选地,上述构建单元包括:分辨率提取子单元,用于从检测需求中提取多个预设分辨率,以及每个预设分辨率对应的滑动窗口和滑动步长;残差图子单元,用于根据多个预设分辨率、多个滑动窗口、多个滑动步长,以及待检测图像生成残差热力分量图;空间图子单元,用于获取待检测图像中,每个待检测像素在待检测图像中的位置信息,得到位置信息集合,并根据位置信息集合生成空间变化热力分量图;归一化子单元,用于对残差热力分量图和空间变化热力分量图进行归一化融合,得到目标热力图。
5、可选地,上述残差图子单元包括:金字塔子单元,用于根据多个预设分辨率对待检测图像进行多尺度图像构建,得到金字塔图像;计算窗口子单元,用于根据多个滑动窗口、多个滑动步长从金字塔图像中确定每个尺度图像对应的多个计算窗口;残差值子单元,用于对多个计算窗口计算鲁棒统计量,得到每个计算窗口对应的鲁棒统计量,并根据每个计算窗口对应的鲁棒统计量计算出每个计算窗口对应的残差值;残差热力子单元,用于根据每个计算窗口对应的残差值生成残差热力分量图。
6、可选地,上述残差热力子单元包括:灰度值子单元,用于将多个残差值映射至对应的计算窗口,并根据多个残差值为对应的计算窗口分配灰度值;热力图集合子单元,用于根据每个计算窗口对应的灰度值生成金字塔图像对应的残差热力图集合,其中,金字塔图像中的每层尺度图像对应的一个残差热力图;图像融合子单元,用于对残差热力图集合进行图像融合,得到残差热力分量图。
7、可选地,上述空间图子单元包括:特征数据子单元,用于从待检测图像的多个待检测像素中提取每个待检测像素对应的多种像素特征数据;基线像素子单元,用于根据每个待检测像素的相邻像素确定每个待检测像素对应的多种基线像素特征数据;空间变化子单元,用于根据每个待检测像素对应的多种像素特征数据和多种基线像素特征数据,确定每个待检测像素对应的空间变化热力值;空间变化热力子单元,用于根据多个空间变化热力值生成空间变化热力分量图。
8、可选地,上述计算单元包括:三维模型子单元,用于根据目标热力图中每个像素对应的目标热力值,构建目标热力图对应的三维热力模型;三维候选子单元,用于获取多种预设异常类别,并根据预设异常类别对应的划分方式,对三维热力模型进行区域划分,得到多个三维候选区域;元数据子单元,用于分别对每个三维候选区域进行元数据识别,得到每个三维候选区域对应的候选元数据;异常评分子单元,用于根据每个三维候选区域对应的候选元数据和预设异常类别,对多个三维候选区域计算异常评分,得到异常评分集合。
9、可选地,上述输出单元包括:二维回投子单元,用于分别对每个候选区域进行二维回投操作,得到每个候选区域对应的二维边界信息,二维边界信息包括以下至少之一:二维边界框信息、二维掩码信息;边界分割子单元,用于根据多个二维边界信息在待检测图像中进行边界分割,得到多个分割区域,并确定每个分割区域对应的异常评分;缺陷标注子单元,用于根据预设评分阈值从多个分割区域中筛选出缺陷区域,并在待检测图像中标注缺陷区域,得到目标图像;结果输出子单元,用于根据缺陷区域对应的异常评分、异常类别和候选元数据,生成缺陷区域对应的缺陷元数据,并输出目标图像和缺陷元数据。
10、根据本申请实施例的又一方面,提供了一种计算机可读的存储介质,计算机可读存储介质存储有计算机指令,计算机指令用于使计算机执行如以上基于热力重建的缺陷检测及定位方法。
11、根据本申请实施例的又一方面,还提供了一种电子设备,电子设备包括:至少一个处理器;以及与至少一个处理器通信连接的存储器;其中,存储器存储有可被至少一个处理器执行的计算机程序,计算机程序被至少一个处理器执行,以使至少一个基于热力重建的缺陷检测及定位方法。
12、与现有技术相比,本申请实施例提供的技术方案可以包括如下有益效果:
13、通过上述基于热力重建的缺陷检测及定位方法,解决了现有缺陷检测及定位方法的准确率、可审计性和智能化程度低的问题。
14、以上仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
1.一种基于热力重建的缺陷检测及定位方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,根据所述待检测图像和所述检测需求构建目标热力图,包括:
3.根据权利要求2所述的方法,其特征在于,根据多个所述预设分辨率、多个所述滑动窗口、多个所述滑动步长,以及所述待检测图像生成残差热力分量图,包括:
4.根据权利要求3所述的方法,其特征在于,根据每个所述计算窗口对应的残差值生成所述残差热力分量图,包括:
5.根据权利要求2所述的方法,其特征在于,根据所述位置信息集合生成空间变化热力分量图,包括:
6.根据权利要求1所述的方法,其特征在于,对所述目标热力图计算异常评分,得到异常评分集合,包括:
7.根据权利要求6所述的方法,其特征在于,将所述目标热力图、所述待检测图像和所述异常评分集合输入缺陷检测及定位模型,输出所述标注有缺陷区域的目标图像和缺陷元数据,包括:
8.根据权利要求7所述的方法,其特征在于,所述二维边界信息包括以下至少之一:二维边界框信息、二维掩码信息。
9.一种基于热力重建的缺陷检测及定位装置,其特征在于,包括:
10.一种电子设备,其特征在于,所述电子设备包括:至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的计算机程序,所述计算机程序被所述至少一个处理器执行,以使所述至少一个处理器执行权利要求1-8任意一项所述的基于热力重建的缺陷检测及定位方法。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com