图像缺陷迁移方法、系统、设备及介质与流程
本发明涉及计算机视觉与图像处理,具体地,涉及一种图像缺陷迁移方法、系统、设备及介质。
背景技术:
1、在工业视觉检测任务中,缺陷样本相对于合格样本极为稀缺,这种严重的类别不平衡导致基于深度学习的缺陷检测模型面临数据瓶颈。
2、为了解决这一问题,业界通常采用数据增强手段来扩充缺陷数据集。然而,现有的数据增强技术在实际应用中存在诸多局限:几何变换方法仅能改变缺陷的视角而无法增加缺陷纹理的多样性;复制-粘贴方法虽然保留了原始纹理,但缺陷边缘存在明显的拼接痕迹和色差,易导致模型过拟合于边缘伪影;泊松融合方法虽能消除色差,但会改变缺陷本身的整体色调,破坏缺陷的原始视觉特征,且计算量较大;生成式扩散模型能够生成自然的融合效果,但模型体积庞大、推理耗时极长,且依赖重型深度学习框架,难以部署到工业现场的边缘计算设备;物体擦除型修复模型的设计目标为抹除物体并填补背景,在需要保留原始缺陷特征的迁移场景中容易产生亮色伪影环。
3、综上所述,现有技术在边缘无缝融合、缺陷原始特征完整保留、模型轻量化以及高速推理这四个维度上难以同时兼顾,无法满足工业质检场景对高质量、高效率缺陷数据生成的需求。
技术实现思路
1、针对现有技术中的缺陷,本发明的目的是提供一种图像缺陷迁移方法、系统、设备及介质。
2、根据本发明提供的一种图像缺陷迁移方法,包括:
3、步骤s1:基于获取的缺陷图像、背景图像以及所述缺陷图像对应的缺陷掩膜,构建分区掩膜,所述分区掩膜包括核心保护区和边缘过渡区;
4、所述核心保护区用于指示所述缺陷掩膜中禁止修改的区域,所述边缘过渡区用于指示所述缺陷掩膜边缘允许重绘的区域;
5、步骤s2:基于所述边缘过渡区确定重绘掩膜,并利用图像修复模型对所述重绘掩膜对应的图像区域进行局部重绘,得到重绘图像;
6、步骤s3:将所述重绘图像与所述背景图像进行融合,得到目标迁移图像。
7、优选地,所述基于获取的缺陷图像、背景图像以及所述缺陷图像对应的缺陷掩膜,构建分区掩膜,包括:
8、对所述缺陷掩膜进行腐蚀处理,得到所述核心保护区;
9、对所述缺陷掩膜进行膨胀处理,并从膨胀处理后的掩膜中扣除所述缺陷掩膜,得到所述边缘过渡区。
10、优选地,所述对所述缺陷掩膜进行腐蚀处理,得到所述核心保护区,包括:
11、使用椭圆结构元素对所述缺陷掩膜进行腐蚀处理,腐蚀像素数为第一像素数;
12、所述对所述缺陷掩膜进行膨胀处理,并从膨胀处理后的掩膜中扣除所述缺陷掩膜,得到所述边缘过渡区,包括:
13、使用所述椭圆结构元素对所述缺陷掩膜进行膨胀处理,膨胀像素数为第二像素数;所述第二像素数大于第一像素数。
14、优选地,所述基于所述边缘过渡区确定重绘掩膜,并利用图像修复模型对所述重绘掩膜对应的图像区域进行局部重绘,得到重绘图像,包括:
15、对所述边缘过渡区进行膨胀处理,并从膨胀处理后的边缘过渡区中扣除所述核心保护区,得到所述重绘掩膜;
16、基于所述重绘掩膜的非零像素范围,从初步合成图像中裁切出子图和对应的子掩膜,所述初步合成图像为将所述缺陷图像的前景区域拼贴至所述背景图像得到的图像;
17、将所述子图和所述子掩膜缩放至所述图像修复模型的预设输入尺寸,并输入所述图像修复模型进行前向推理,得到重绘子图;
18、将所述重绘子图缩放回原始裁切尺寸,并与所述子图进行混合,得到所述重绘图像。
19、优选地,所述图像修复模型为聚合上下文变换生成对抗网络aot-gan模型;
20、所述将所述子图和所述子掩膜缩放至所述图像修复模型的预设输入尺寸,并输入所述图像修复模型进行前向推理,包括:
21、将所述子图的通道顺序转换为rgb,并将像素值归一化至[0,1]区间,得到第一输入张量;
22、将所述子掩膜进行二值化处理,得到第二输入张量;
23、将所述第一输入张量和所述第二输入张量输入采用onnx格式部署的所述聚合上下文变换生成对抗网络aot-gan模型,在中央处理器cpu上执行一次前向推理,得到输出张量;
24、对所述输出张量进行反归一化处理,并将通道顺序转换为bgr,得到所述重绘子图。
25、优选地,所述将所述重绘子图缩放回原始裁切尺寸,并与所述子图进行混合,得到所述重绘图像,包括:
26、基于高斯核对所述子掩膜进行模糊处理,生成局部软阿尔法通道;
27、通过所述局部软阿尔法通道将所述重绘子图与所述子图进行加权融合,得到所述重绘图像;
28、构建全图浮点掩膜,并基于所述高斯核对所述全图浮点掩膜进行模糊处理,生成全局软阿尔法通道;
29、通过所述全局软阿尔法通道将所述重绘图像与所述背景图像进行加权融合,得到所述目标迁移图像。
30、优选地,所述基于高斯核对所述子掩膜进行模糊处理,生成局部软阿尔法通道,包括:
31、使用第一高斯核对所述子掩膜进行模糊处理,生成所述局部软阿尔法通道,所述第一高斯核具有第一核大小和第一标准差;
32、所述基于所述高斯核对所述全图浮点掩膜进行模糊处理,生成全局软阿尔法通道,包括:
33、使用第二高斯核对所述全图浮点掩膜进行模糊处理,生成所述全局软阿尔法通道,所述第二高斯核具有第二核大小和第二标准差,所述第二核大小大于所述第一核大小;
34、其中,所述全图浮点掩膜中缺陷区域的像素值为第一像素值,其余区域的像素值为第二像素值,所述第一像素值与所述第二像素值不同。
35、根据本发明提供的一种图像缺陷迁移系统,包括:
36、掩膜构建模块,用于基于获取的缺陷图像、背景图像以及所述缺陷图像对应的缺陷掩膜,构建分区掩膜,所述分区掩膜包括核心保护区和边缘过渡区,所述核心保护区用于指示所述缺陷掩膜中禁止修改的区域,所述边缘过渡区用于指示所述缺陷掩膜边缘允许重绘的区域;
37、局部重绘模块,用于基于所述边缘过渡区确定重绘掩膜,并利用图像修复模型对所述重绘掩膜对应的图像区域进行局部重绘,得到重绘图像;
38、图像融合模块,用于将所述重绘图像与所述背景图像进行融合,得到目标迁移图像。
39、根据本发明提供的一种计算机设备,包括:
40、至少一个处理器;以及,
41、与所述至少一个处理器通信连接的存储器;其中,
42、所述存储器存储有可被所述至少一个处理器执行的计算机程序,所述计算机程序被所述至少一个处理器执行,以使所述至少一个处理器能够执行所述的图像缺陷迁移方法。
43、根据本发明提供的一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现所述的图像缺陷迁移方法。
44、与现有技术相比,本发明具有如下的有益效果:
45、1、本技术通过构建包含核心保护区和边缘过渡区的分区掩膜,在空间上对缺陷区域进行语义隔离,实现了缺陷核心纹理特征的像素级完整保留,避免了图像修复模型对缺陷本体内容的篡改,确保了生成数据的真实性与有效性。
46、2、本技术通过基于边缘过渡区确定重绘掩膜并仅对该区域进行局部重绘,配合多级高斯羽化融合机制,实现了缺陷边缘与背景图像的无缝自然过渡,消除了硬拼贴产生的拼接痕迹与色差,同时避免了全局重绘带来的背景伪影问题,显著提升了迁移图像的视觉质量。
47、3、本技术通过采用轻量化的图像修复模型并结合局部裁切推理策略,将计算资源集中于关键的边缘过渡区域,实现了在通用中央处理器上的秒级快速推理,无需依赖昂贵的图形处理器硬件即可满足工业现场对大规模缺陷数据增强的实时性与部署要求。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com