一种纸杯缺陷检测方法及装置与流程
本发明主要涉及纸杯检测,具体涉及一种纸杯缺陷检测方法及装置。
背景技术:
1、纸杯是日常生活中广泛使用的一次性消费品,其生产过程主要包括纸片裁切、卷杯成型、底部封合、口部翻边等工序。在上述生产过程中,受纸杯成型机机械状态、底纸品质、纸片材质、加工温度及水分等多种因素影响,纸杯成品会出现多种类型的缺陷,包括但不限于杯口翻边不规则、毛刺、开裂,杯身褶皱、污渍、印刷缺陷,杯底气泡、虚焊、穿孔,接缝区域裂纹、偏移,以及杯体外轮廓不圆整等。这些缺陷直接影响纸杯的外观质量和使用性能,因此在纸杯生产完成后需要进行严格的质量检测,以筛选出不合格产品,确保出厂品质。
2、目前纸杯缺陷检测主要有两种方式。第一种是人工检测方式,由质检人员对流水线上的纸杯进行目视抽检和全检,该方式存在劳动强度大、检测效率低的问题,且人工抽检具有一定的随机性,难以保证检测的全面性和一致性,长时间作业还会因视觉疲劳导致漏检率上升。第二种是基于机器视觉的自动检测方式,通过工业相机获取纸杯图像后利用图像处理算法进行分析判断。然而,现有机器视觉检测方案大多仅针对纸杯的单一类型缺陷(如污点)进行检测,而实际生产中纸杯缺陷种类多样,单一缺陷检测无法覆盖全部质量隐患,难以真正替代人工完成全面质检。
3、在深度学习目标检测领域,yolo系列模型因兼具检测速度与精度而被广泛应用于工业缺陷检测场景。但直接将通用的yolo模型应用于纸杯缺陷检测仍面临以下困难:其一,纸杯缺陷多为小目标且特征不明显,在复杂光照环境下细节特征容易随网络深度增加而丢失,导致漏检和错检;其二,纸杯不同区域(杯口、侧壁、杯底、接缝等)的几何形态和缺陷特征差异显著,采用统一的检测策略难以同时兼顾各区域的检测精度;其三,纸杯作为物理整体,各区域的缺陷之间可能具有空间关联性,但现有方案均对各区域独立检测,未能利用区域间的关联信息辅助判断。
4、针对上述问题,现有技术尚未提供一种能够兼顾多类型缺陷覆盖、多区域针对性检测和跨区域关联推理的纸杯缺陷检测方案。
技术实现思路
1、1.发明要解决的技术问题:
2、本发明提供了一种纸杯缺陷检测方法及装置,用以解决上述背景技术中存在的技术问题。
3、2.技术方案:
4、为达到上述目的,本发明提供的技术方案为:一种纸杯缺陷检测方法,包括以下阶段:
5、第一阶段,获取待检测纸杯的彩色图像,对所述彩色图像进行预处理得到整体亮度变化图,根据所述整体亮度变化图对纸杯进行多区域自动定位,生成各目标检测区域的定位坐标和二值掩膜;
6、第二阶段,将所述彩色图像输入训练后的检测模型,所述检测模型以yolov5网络为基础,包括共享特征提取骨干网络、区域特征选择模块、区域特征提取模块、多区域特征交互模块和区域自适应检测头;其中,
7、所述共享特征提取骨干网络将所述彩色图像作为整图输入,提取得到多尺度全局特征图;在backbone部分的最后一层c3模块后加入cbam注意力机制模块,在neck部分利用加权双向特征金字塔网络进行特征融合,并在输出层增加第四尺度的特征输出,使骨干网络输出四个尺度的特征图;所述第四尺度的特征图分辨率高于原有的其他三个尺度;
8、所述区域特征选择模块将所述多尺度全局特征图中的各尺度特征图对齐至统一空间分辨率后,根据各目标检测区域的缺陷特征特性,通过门控加权机制为各区域融合生成对应的区域特征图;所述区域特征图具有统一的空间分辨率;
9、所述区域特征提取模块根据第一阶段输出的各区域二值掩膜,对所述区域特征图进行掩码处理,得到各目标检测区域对应的区域特征;所述区域特征保留统一的空间分辨率与全局坐标对应关系,区域外特征置为零值;
10、所述多区域特征交互模块基于预定义的区域空间邻接关系,对各区域特征进行跨区域交叉注意力交互,输出交互增强后的区域特征;
11、所述区域自适应检测头根据不同目标检测区域的缺陷特征类型,采用与之适配的卷积结构对交互增强后的区域特征进行缺陷检测;
12、第三阶段,将各区域自适应检测头输出的检测结果基于第一阶段的区域定位坐标映射回纸杯原始图像的统一坐标系,进行跨区域关联推理与综合判定,输出纸杯的缺陷检测结果。
13、优选的,所述预处理包括:将所述彩色图像转换为hsv颜色模型图像,分离为色调分量、饱和度分量和明度分量三个分量图像;采用scharr算子分别获取水平方向和垂直方向的亮度变化图,加权融合得到所述整体亮度变化图;
14、所述第一阶段中对纸杯进行多区域自动定位,包括:
15、根据所述整体亮度变化图提取杯口高亮区域的环状轮廓,采用所述环状轮廓的外环轮廓拟合外杯口圆,采用所述环状轮廓的内环轮廓拟合内杯口圆;
16、以内杯口圆为起始圆,沿半径向圆心方向梯度缩小半径,计算各半径对应圆周上的亮度变化总值,将亮度变化总值首次小于预设阈值的圆确定为终止圆,将所述内杯口圆与所述终止圆之间的环形区域定位为渐变区域;
17、对所述整体亮度变化图的像素灰度值进行k-means聚类,获取自适应二值化阈值;基于所述自适应二值化阈值对整体亮度变化图进行二值化处理,提取杯底轮廓并拟合杯底圆;将所述杯底圆沿半径向外扩展第一预设宽度至扩展圆,将所述杯底圆与所述扩展圆之间的环形区域定位为接缝区域,将所述杯底圆所围成的内部区域定位为杯底区域;
18、将所述扩展圆与所述终止圆之间的环形区域定位为侧壁区域;将所述外杯口圆与所述内杯口圆之间的环形区域定位为杯口区域;
19、提取纸杯的外轮廓,将所述外轮廓向外扩展第二预设宽度得到环形邻域区域,将所述环形邻域区域定位为外轮廓区域;
20、为各区域分别生成对应的二值掩膜,输出各区域的定位坐标和所述二值掩膜。
21、优选的,所述cbam注意力机制模块包括通道注意力模块和空间注意力模块,所述通道注意力模块用于关注检测目标的内容信息,所述空间注意力模块用于关注检测目标的位置信息;
22、所述加权双向特征金字塔网络在panet特征融合网络的基础上,借鉴bifpn的加权策略和跨尺度连接方法对部分关键特征进行整合,对输入特征信息赋予相应的权重;
23、所述区域特征选择模块采用可学习的1×1卷积与softmax门控机制实现,先将多尺度全局特征图中的各尺度特征图上采样至统一空间分辨率,再为各目标检测区域动态分配不同尺度特征图的权重并加权融合,输出各区域对应的区域特征图;所述区域特征图具有统一的空间分辨率;
24、所述区域特征提取模块根据各区域二值掩膜在统一空间分辨率特征图上的对应位置,通过逐元素掩码相乘的方式提取区域特征,保留特征图的空间尺寸与全局坐标对应关系。
25、优选的,所述区域自适应检测头包括:
26、针对杯口区域设置的线状特征敏感检测头,在标准检测头基础上增加非对称卷积层,所述非对称卷积层包括1×k卷积核和k×1卷积核,用于增强对杯口边缘线性缺陷的响应;
27、针对侧壁区域设置的纹理特征敏感检测头,在标准检测头基础上增加可变形卷积层,用于适应纸杯侧壁因曲面投影产生的几何变形;
28、针对杯底区域设置的点状特征敏感检测头,利用所述第四尺度的高分辨率特征输出对杯底的微小气泡和穿孔进行检测;
29、针对渐变区域设置的对比度敏感检测头,在检测头前增加局部对比度增强模块;
30、针对接缝区域设置的曲线特征敏感检测头,以第一阶段拟合的杯底圆圆心为极坐标原点,对接缝区域的特征图进行极坐标变换后再输入检测头进行检测;检测输出的缺陷坐标先执行极坐标逆变换得到特征图坐标系坐标,再映射回原始图像坐标系;
31、针对外轮廓区域设置的几何形状敏感检测头,增加距离回归分支,用于回归轮廓点到拟合圆心的距离偏差以检测边缘缺角、平整度缺陷。
32、优选的,所述多区域特征交互模块的工作过程包括:
33、预定义区域空间邻接关系矩阵,所述区域空间邻接关系矩阵描述各目标检测区域之间的物理邻接关系与对应权重;
34、对于任一区域i,以该区域的特征为query,以与其具有邻接关系的区域j的特征为key和value,通过交叉注意力机制计算两个区域之间的特征关联;
35、将各邻接区域的交互特征按所述区域空间邻接关系矩阵的权重加权求和,与所述区域i的原始特征叠加,得到交互增强后的区域特征。
36、优选的,所述第三阶段中进行跨区域关联推理与综合判定,包括:
37、对跨区域边界的相邻检测结果进行缺陷关联匹配,对同一缺陷的多区域检出结果进行置信度融合与检测框合并,消除重复检测;
38、建立跨区域关联推理规则,包括:若接缝区域检出缺陷且相邻侧壁区域也检出同类型缺陷,则提升该缺陷的置信度等级;若杯口区域检出翻边异常且渐变区域同时检出褶皱,则输出联合诊断标签;若仅单个区域检出低置信度缺陷而相邻区域无任何异常,则将该缺陷标记为待确认并降低其置信度权重。
39、优选的,在所述第二阶段之前,还包括检测模型的训练过程:
40、获取多种缺陷类型的不合格纸杯图像,通过所述第一阶段的多区域自动定位生成各区域的二值掩膜和定位坐标,并按各目标检测区域分别标注缺陷标签,构建数据集;
41、对所述数据集进行数据增强操作,得到训练样本;所述数据增强操作包括旋转、裁剪、亮度增强以及对单个区域对应的图像区域独立进行的仿射变换和噪声添加;
42、利用所述训练样本对构建的检测模型进行分阶段训练:先冻结所述多区域特征交互模块的参数,单独训练各区域独立的区域自适应检测头;再解冻所述多区域特征交互模块,对所述多区域特征交互模块与所述区域自适应检测头进行端到端联合微调,得到所述训练后的检测模型。
43、一种纸杯缺陷检测装置,包括:
44、图像获取模块,用于获取待检测纸杯的彩色图像;
45、区域定位模块,用于对所述彩色图像进行预处理得到整体亮度变化图,根据所述整体亮度变化图对纸杯进行多区域自动定位,生成各目标检测区域的定位坐标和二值掩膜;
46、检测模型模块,用于将所述彩色图像作为整图输入训练后的检测模型进行缺陷检测;其中,所述检测模型以yolov5网络为基础,包括:
47、共享特征提取骨干网络,将所述彩色图像整图输入,提取得到多尺度全局特征图;在backbone部分的最后一层c3模块后加入cbam注意力机制模块,在neck部分利用加权双向特征金字塔网络进行特征融合,并在输出层增加第四尺度的特征输出,使骨干网络输出四个尺度的特征图;所述第四尺度的特征图分辨率高于原有的其他三个尺度;
48、区域特征选择模块,将所述多尺度全局特征图中的各尺度特征图对齐至统一空间分辨率后,根据各目标检测区域的缺陷特征特性,通过门控加权机制为各区域融合生成对应的区域特征图;所述区域特征图具有统一的空间分辨率;
49、区域特征提取模块,根据所述区域定位模块输出的各区域二值掩膜,对所述区域特征图进行掩码处理,得到各目标检测区域对应的区域特征;所述区域特征保留统一的空间分辨率与全局坐标对应关系,区域外特征置为零值;
50、多区域特征交互模块,基于预定义的区域空间邻接关系,对各区域特征进行跨区域交叉注意力交互,输出交互增强后的区域特征;
51、区域自适应检测头,根据不同目标检测区域的缺陷特征类型,采用与之适配的卷积结构对交互增强后的区域特征进行缺陷检测;
52、结果融合模块,用于将各区域自适应检测头输出的检测结果基于所述区域定位模块的定位坐标映射回纸杯原始图像的统一坐标系,进行跨区域关联推理与综合判定,输出纸杯的缺陷检测结果。
53、优选的,所述区域自适应检测头包括:线状特征敏感检测头,用于杯口区域,包含非对称卷积层;纹理特征敏感检测头,用于侧壁区域,包含可变形卷积层;点状特征敏感检测头,用于杯底区域,利用所述第四尺度的高分辨率特征输出进行微小缺陷检测;对比度敏感检测头,用于渐变区域,包含局部对比度增强模块;曲线特征敏感检测头,用于接缝区域,包含极坐标变换与逆变换处理;几何形状敏感检测头,用于外轮廓区域,包含距离回归分支;
54、所述区域特征选择模块采用可学习的1×1卷积与softmax门控机制实现,先将多尺度全局特征图中的各尺度特征图上采样至统一空间分辨率,再为各目标检测区域动态分配不同尺度特征图的权重并加权融合。
55、优选的,所述多区域特征交互模块包括:
56、邻接关系存储单元,用于存储预定义的区域空间邻接关系矩阵;
57、交叉注意力计算单元,用于以任一区域的特征为query,以与其具有邻接关系的区域的特征为key和value,计算区域之间的特征关联;
58、特征增强单元,用于将各邻接区域的交互特征按权重加权求和,与原始特征叠加,得到交互增强后的区域特征。
59、3.有益效果:
60、采用本发明提供的技术方案,与现有技术相比,具有如下有益效果:
61、第一,通过基于亮度特征的多区域自动定位,将纸杯按物理结构划分为杯口、渐变、杯底、接缝、侧壁和外轮廓六个互不重叠的目标检测区域,使后续检测任务更加聚焦,减少了无关背景区域对缺陷检测的干扰,提高了各区域缺陷的检出精度。
62、第二,通过区域自适应检测头的设计,针对不同区域的缺陷形态差异配置适配的卷积结构,使线状、纹理状、点状、对比度异常、曲线状和几何形状等不同类型缺陷均能获得最优的特征处理方式,提高了多类型缺陷的综合检测能力。
63、第三,通过多区域特征交互模块利用空间邻接关系进行跨区域交叉注意力交互,实现了相邻区域特征信息的互补增强,充分利用了纸杯各区域缺陷之间的物理关联性,提高了复杂缺陷场景下的检测准确率。
64、第四,通过跨区域关联推理规则,对多区域检测结果进行置信度融合与关联判断,进一步降低了误检和漏检率,并可输出工艺诊断建议,为生产线调整提供参考依据。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com