基于深度图注意力的工业图像缺陷目标检测算法的制作方法
本发明涉及、,具体涉及一种基于深度图注意力的工业图像缺陷目标检测算法。
背景技术:
1、随着工业智能化进程的加速,对工业零件进行快速、准确的质量检测已成为保障生产安全与产品可靠性的关键环节。传统的人工检测方法不仅效率低下、成本高昂,而且极易受到检测人员主观状态的影响,难以实现标准化和持续稳定的高质量检测。因此,基于机器视觉的自动缺陷检测技术应运而生,并逐渐成为工业领域的研究与应用热点。
2、现有的自动缺陷检测方案主要依赖于对彩色图像的分析。这些方法通常通过深度学习模型,如卷积神经网络,从二维图像中学习缺陷的纹理、颜色或形状特征。尽管此类方法在某些场景下取得了成效,但其局限性也日益凸显。工业现场环境复杂,光照变化、零件背景纹理干扰、油污反光等因素会严重影响彩色图像的质量,导致特征提取不稳定。更为关键的是,许多工业缺陷的本质是材料表面的几何形变,例如微小的凹坑、凸起或深度不一的划痕。这些缺陷在二维彩色图像中可能表现为微弱的对比度差异,甚至与正常背景融为一体,使得仅依靠二维视觉信息的算法极易发生漏检或误检。换言之,现有技术对缺陷的“深度”这一关键物理属性感知能力薄弱,难以应对形态多样、对比度不明显的细小缺陷的检测任务,其准确率、鲁棒性及泛化能力均难以满足高标准的工业质检需求。
3、针对上述问题,虽有研究尝试引入三维信息,但多停留在简单的数据层面拼接,未能实现多模态信息在特征层面的深度、自适应融合,无法让网络真正学会利用深度线索来聚焦于关键的缺陷区域。因此,迫切需要一种能够充分利用深度信息、增强模型感知与判别能力的工业缺陷检测新方法。
4、因此,现有技术还有待进一步发展。
技术实现思路
1、本发明的目的在于克服上述技术不足,提供一种基于深度图注意力的工业图像缺陷目标检测算法,以解决现有技术存在的问题。
2、为达到上述技术目的,本发明提供了一种基于深度图注意力的工业图像缺陷目标检测算法,包括:
3、s1、获取待检测的彩色图像与深度图像并进行预处理;
4、s2、将预处理后的图像输入至工业图像缺陷检测模型以构建训练样本集,所述训练样本集包含标注有缺陷区域框及缺陷类型的图像;
5、s3、依据所述训练样本集对所述工业图像缺陷检测模型进行深度学习训练;
6、s4、利用训练完成的模型对工业图像进行缺陷检测。
7、具体的,所述获取待检测的彩色图像与深度图像并进行预处理,具体包括:
8、通过固定于工位的3d相机采集工业零件的彩色图像及对应的深度图像;对采集到的彩色图像与深度图像进行去噪与滤波操作,以初步消除成像噪声及环境干扰;对去噪后的深度图像进行处理,提取像素级的距离信息以生成距离信息图;将所述彩色图像与对应的所述距离信息图进行配对,构成多模态图像对,作为后续处理的输入单元。
9、具体的,所述构建训练样本集,具体包括:
10、参照已知的工业零件外观缺陷范例,在所述彩色图像上标定出缺陷的区域范围,每个缺陷区域框表示为t=[x,y,w,h],其中x和y分别为区域框左上角在图像坐标系中的横、纵坐标,w和h分别为区域框的宽度与高度;根据缺陷的形态、纹理或深度凹陷特征,判断并标记所述区域框内缺陷的具体类型;将标定好区域框及缺陷类型的所述彩色图像、其对应的所述距离信息图以及标注信息,以预设的标注文件格式进行存储,共同构成所述训练样本集。
11、具体的,所述对工业图像缺陷检测模型进行深度学习训练,具体包括:
12、将所述训练样本集按预设比例随机划分为训练子集与验证子集;对所述训练子集与验证子集中的图像对执行数据增广操作,其中,对彩色图像施加包括旋转、翻转、添加随机噪声及颜色变换中的一种或多种变换,对于与之配对的所述距离信息图,仅同步进行所述旋转与翻转的几何变换,而不进行所述添加随机噪声及颜色变换的像素值变换。
13、具体的,所述工业图像缺陷检测模型包括特征提取网络、深度图注意力融合模块及检测头;所述特征提取网络用于分别从输入的彩色图像和距离信息图中提取多层次的特征图;所述深度图注意力融合模块用于根据所述距离信息图提取的特征,生成注意力权重图,并将该权重图作用于所述彩色图像提取的对应层次特征图上,以增强缺陷相关特征并抑制背景干扰;所述检测头用于对融合后的特征图进行处理,输出缺陷的类别置信度及定位坐标。
14、具体的,所述深度图注意力融合模块的执行过程包括:
15、将来自同一层次的颜色特征图与深度特征图进行通道拼接;对拼接后的特征图进行卷积操作以计算空间注意力权重矩阵,该矩阵中每个位置的值表示对应空间位置在融合时的重要性;将所述空间注意力权重矩阵与所述颜色特征图进行逐元素相乘,得到加权后的颜色特征;将加权后的颜色特征与原始的深度特征进行融合,生成送入下一阶段或检测头的融合特征图。
16、具体的,还包括在所述构建训练样本集之前执行的自动预标定步骤:
17、利用预训练的通用缺陷检测模型对未标注的工业图像进行初步推理,生成候选缺陷区域建议框;由质检人员对所述候选缺陷区域建议框进行审核、修正及类型确认,从而加速训练样本集的构建过程。
18、具体的,所述深度学习训练过程采用的优化方法为随机梯度下降法或其变种,通过反向传播算法最小化结合了分类损失与定位损失的总体损失函数,以迭代更新所述工业图像缺陷检测模型的参数,所述定位损失采用归一化的坐标误差计算方式。
19、具体的,所述预处理步骤还包括光照归一化与材质反射补偿:
20、针对所述彩色图像,分析图像中工业零件表面的光照分布,进行光照不均校正;根据所述深度图像提供的表面朝向信息,对所述彩色图像中因不同材质反射特性造成的颜色偏差进行补偿,以使颜色特征更集中于缺陷本身。
21、具体的,所述利用训练完成的模型对工业图像进行缺陷检测之后,还包括结果后处理与输出步骤:
22、对模型输出的多个检测框执行非极大值抑制操作,以消除对同一缺陷的重复检测;将最终确定的缺陷框及其类别、置信度信息,与原始检测图像进行关联,并按照生产线控制系统要求的格式进行封装与输出。
23、有益效果:
24、本发明所提供的基于深度图注意力的工业图像缺陷目标检测算法,相较于现有技术,具有多方面的显著有益效果。
25、首先,本发明的核心有益效果在于通过创新的深度图注意力融合机制,实现了彩色纹理信息与深度几何信息的深度、自适应融合,极大提升了检测精度,特别是对挑战性缺陷的检出率。具体而言,算法利用深度图像所蕴含的表面三维信息,自动生成空间注意力权重图。该权重图能够精准地聚焦于图像中发生几何形变的区域(即潜在的缺陷区域),并以此对彩色特征图进行加权调制。这一过程模拟了人类质检员综合观察物体颜色和形状的认知过程,使得网络特征表达同时包含了“看起来异常”和“摸起来不平”的双重判别依据。因此,对于在彩色图像上对比度低、与背景颜色相近,但在深度维度上存在明显凹陷或凸起的缺陷(如细微划痕、浅凹坑),本方法能够实现稳定、准确的识别,有效解决了传统单一模态方法漏检率高的问题。
26、其次,本发明通过一系列针对工业场景的专门设计与优化,显著增强了算法的鲁棒性和实用性。算法在预处理阶段引入的光照归一化与材质反射补偿操作,能够有效抑制工业现场多变光照和不同材质反光特性带来的干扰,使输入特征更为纯净和稳定。所采用的半自动标注流程,大幅降低了高质量训练数据集的构建成本和时间,加速了算法在新零件、新产线上的部署周期。此外,整个数据处理与模型训练流程设计严谨,例如对多模态数据采用差异化的数据增广策略,既增强了彩色模态的泛化性,又保证了深度模态的物理真实性;训练时采用结合分类与精准定位的损失函数,确保了模型的学习目标与最终检测任务紧密对齐。这些细节共同保障了算法在真实复杂工业环境中的可靠表现。
27、最后,本发明形成了一套从数据采集、处理、模型构建、训练到最终集成应用的完整技术方案。该方案不仅检测性能优越,而且充分考虑了下游系统集成需求,通过规范化的结果输出格式,能够便捷地与生产线控制系统(如mes、plc)对接,实现从“感知”到“执行”的闭环自动化,切实提升了工业生产的智能化水平和质量控制能力。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com