一种基于线阵相机的铜表面缺陷检测方法及装置与流程

1.本发明涉及阴极铜质量检测技术领域，尤其是涉及一种基于线阵相机的铜表面缺陷检测方法及装置。


背景技术：

2.冶金精炼阴极铜由于其电解工艺的特殊性，所以阴极铜的表面情况能基本反映出阴极铜的品质，包括表面纹理、缺陷情况、色泽等。在整个阴极铜表面质量检测过程中都存在有一定的问题：取图，现有阴极铜表面质量主要依靠人工检测，人工在机组剥片环节逐一检测；数据分析，阴极铜在剥片机组流水线中高速运行，人工无法精确计算阴极铜粒子大小与分布，只能根据经验主观判断；判定输出，发现有问题的阴极铜时需要人工点击剔除，且不同人会给出不同的结果，劳动强度大，发生漏检风险大；后续还需要有质检人员复检，复检发现有问题阴极铜需要拆包处理，拆包后人工叉车处理再重新打包。过程繁琐，加大生产成本。
3.在中国专利文献中公开的“一种铜电解阴极板垂直度的检测方法、装置及系统”，其公开号为cn106066169a，公开日期为2016-11-02，包括获取阴极板上各个预设检测点的中心位置；从所有预设检测点的中心位置中获取最大的中心位置与最小的中心位置，并计算中心位置差值；根据所有预设检测点的中心位置拟合预设检测点曲面；确定出预设检测点曲面的最高点与最低点，根据最高点和最低点计算预设检测点曲面差值；从中心位置差值及预设检测点曲面差值中确定出最大值，将确定出的最大值确定为阴极板垂直度。通过实时、自动采集铜电解过程中阴极板的动态测距数据，通过对动态测距数据进行处理，可以快速得到阴极板垂直度，得到的阴极板垂直度准确性很高，大大提高了检测效率和检测数据的准确性。但是该技术是通过采样阴极板表面多个点来对整体的垂直度的检测，当涉及到对表面局部位置的缺陷的检测时，无法精确地得到阴极铜板表面的缺陷数据，甚至会有遗漏，因此仍然需要改进。


技术实现要素：

4.本发明是为了克服现有技术中利用人工检测阴极铜板质量时劳动强度大、漏检风险高、判断标准因人而异导致的检测过程繁琐以及成本增加的问题，提供了一种基于线阵相机的铜表面缺陷检测方法及装置，使整个阴极铜表面缺陷检测过程自动化，减少人为因素对缺陷检测结果的影响，同时通过对缺陷阈值的提前设置统一缺陷判断标准来提高检测结果的准确性和精确度。
5.为了实现上述目的，本发明采用以下技术方案：一种基于线阵相机的铜表面缺陷检测方法，包括：s1、线阵相机采集阴极铜板表面的正面图像和反面图像；s2、将采集到的阴极铜板表面图像进行预处理分割成若干个图像块；s3、经过深度学习训练后的铜粒子检测系统对预处理后的图像进行缺陷识别；
s4、根据阴极铜品质要求设定缺陷参数阈值，对完成缺陷识别的阴极铜板进行分类。
6.本发明中，在阴极铜传输的过程中会存在设备遮挡等问题，使得无法一次性拍摄得到整个阴极铜表面，因此采用线阵相机来连续采集阴极铜表面的线性图像数据并合成完整的二维图像，不需要寻找特定的位置来采集完整图像，图像采集点设置的位置更灵活。同时采用经过深度学习训练后的铜粒子检测系统来进行缺陷识别，能更精确地识别分析缺陷数据，并且能根据实际需求来设定不同的缺陷参数阈值，来将阴极铜质量进行划分，从而可以灵活地满足不同用户对阴极铜的差异化要求。
7.作为优选，所述s2中对阴极铜板表面图像进行预处理的过程包括：识别并截取铜板所在区域图像；将图像分割成m行n列的图像块；对每个图像块进行高斯滤波得到的mn个图像块即为预处理后的图像。
8.本发明中完整的阴极铜板图像一般是以米为单位的大图像，将图像经过预处理分割成多个小的图像块后，可以按照图像块中存在的缺陷种类单独分类标注学习和识别，可以按照不同图像块采集时的外界光线情况进行分类识别，解决了大尺寸图像不同区域图片质量不同意的问题，尽量保证单一图像块中图片质量的统一。
9.作为优选，所述s3中对铜粒子检测系统的深度学习训练过程包括：s31、对预处理后的图像进行缺陷标注生成标注图像，预处理后的图像与标注图像共同组成铜粒子缺陷数据集；s32、以卷积神经网络模块和金字塔池化模块构建铜粒子检测系统；s33、以铜粒子缺陷数据集重复对铜粒子检测系统进行图像识别训练；s34、当铜粒子检测系统的铜粒子识别像素精度达到规定值后完成训练。
10.本发明中铜粒子缺陷数据集包括预处理后的图像和其对应的标注图像，标注图像是指对预处理后的图像进行缺陷标注和涂鸦后进行反向选取的图像，以预处理后的图像作为输入值，标注图像作为理论输出值，对铜粒子检测系统进行图像识别训练，选取不同组预处理后的图像和标注图像进行重复训练直到经过铜粒子检测系统识别的结果与标注图像的差值收敛或小于一个定值就能说明完成训练。
11.作为优选，所述铜粒子缺陷数据集中标注图像的标注信息包括有缺陷种类、缺陷形状和尺寸、铜粒子颜色深度和粒子聚集度。本发明中铜粒子缺陷数据集中涵盖的缺陷种类越全，各项缺陷数据越丰富，则完成训练后铜粒子检测系统的识别效果越好，准确率越高。
12.作为优选，图像识别训练的过程包括：从铜粒子缺陷数据集中选择一组包含输入数据和理论输出值的样本；将输入数据输入铜粒子检测系统得到对应的实际输出值；比较计算理论输出值和实际输出值的差值；按极小化误差的方法调整铜粒子检测系统中的参数，直到差值收敛。
13.本发明中的铜粒子检测系统主要分为卷积神经网络模块和金字塔池化模块两个部分，通过卷积运算获取图像的特征图谱，然后将图像通过金字塔池化模块进行多分辨率卷积处理并融合后，使得检测系统可以分割出图像中的背景像素和不同的铜粒子像素，然后比较实际识别的铜粒子输出结果和理论上应该输出的结果对铜粒子检测系统进行学习
训练，最后得到符合要求的检测系统。
14.作为优选，所述s4中，预处理后的图像经过铜粒子检测系统的缺陷识别后得到缺陷分布图；通过提前设定的缺陷参数阈值分离出缺陷部分图像；提取缺陷部分图像额区域特征，按区域内的像素计算缺陷的基本参数。
15.本发明中铜粒子检测系统在对预处理后的图像进行识别时，可以先提前设定缺陷阈值，每一个预处理后的图像经过识别后都会有一个实际输出值，在进行归一化处理后，若该实际输出值大于设定的缺陷阈值则可以认为该部分是缺陷，反之则认为是属于正常背景。
16.一种基于线阵相机的铜表面缺陷检测装置，包括：传送模块，用于传输阴极铜板；线阵相机采集模块，包括线阵相机和光源，用于采集阴极铜板表面图像；工控机，用于接收采集到的阴极铜板表面图像数据并进行缺陷识别和分析；控制模块，用于接收工控机的识别和分析结果并控制整个装置的工作。
17.本发明中传送模块负责将阴极铜板从生产处经过缺陷检测后，依据阴极铜板质量的不同传输到不同的位置；线阵相机和光源配合，可以清晰地采集阴极铜板表面的图像，工控机与线阵相机相连，接收线阵相机采集到的图像数据，同时工控机将对图像数据分析识别后的结果传送到相连的控制模块中，有控制模块控制传送模块将不同质量的阴极铜板传送到不同的地方。
18.作为优选，所述线阵相机采集模块中按照阴极铜板传输的方向依次设置光源和线阵相机；所述光源以一定的入射角照射到阴极铜板表面，所述线阵相机镜头正对的方向垂直于阴极铜板表面。
19.本发明中需要根据阴极铜板的传输速度来控制线阵相机拍摄采集图像的频率，使得连续采集后的图像可以完整的合成阴极铜板的表面图像；线阵相机和光源的相对位置设置是为了保证采集的每一帧图像的清晰度；同时线阵相机和光源组成的线阵相机采集模块可以根据实际需要灵活地设置在传送模块的不同位置。
20.本发明具有如下有益效果：使用线阵相机进行图像采集，不需要寻找特定的能够完全看到整个阴极铜板表面的位置，使得采集装置的位置设定更加灵活方便；整个检测过程由传统的人工检测改为自动检测，减少了人为因素对缺陷检测结果的影响，降低漏检率，缺陷检测标准更统一，结果更准确；可以根据实际需求设定不同的缺陷参数阈值，以不同的判定标准来对阴极铜板表面缺陷进行检测，可以符合客户的差异性要求。
附图说明
21.图1是本发明的缺陷检测方法流程图；图2是本发明实施例一中的表面图像采集装置示意图；图3是本发明实施例二中的表面图像采集装置示意图；图4是本发明实施例中深度学习训练的示意图；图中：1、反面光源；2、反面相机；3、阴极铜板；4、正面光源；5、正面相机；6、工控机；7、控制模块；8、接板叉。
具体实施方式
22.下面结合附图与具体实施方式对本发明做进一步的描述。
23.如图1所示，一种基于线阵相机的铜表面缺陷检测方法，包括：s1、线阵相机采集阴极铜板表面的正面图像和反面图像。
24.s2、将采集到的阴极铜板表面图像进行预处理分割成若干个图像块；s2中对阴极铜板表面图像进行预处理的过程包括：识别并截取铜板所在区域图像；将图像分割成m行n列的图像块；对每个图像块进行高斯滤波得到的mn个图像块即为预处理后的图像。
25.s3、经过深度学习训练后的铜粒子检测系统对预处理后的图像进行缺陷识别；对铜粒子检测系统的深度学习训练过程包括：s31、对预处理后的图像进行缺陷标注生成标注图像，预处理后的图像与标注图像共同组成铜粒子缺陷数据集；s32、以卷积神经网络模块和金字塔池化模块构建铜粒子检测系统；s33、以铜粒子缺陷数据集重复对铜粒子检测系统进行图像识别训练；s34、当铜粒子检测系统的铜粒子识别像素精度达到规定值后完成训练。
26.s4、根据阴极铜品质要求设定缺陷参数阈值，对完成缺陷识别的阴极铜板进行分类；s4中，预处理后的图像经过铜粒子检测系统的缺陷识别后得到缺陷分布图；通过提前设定的缺陷参数阈值分离出缺陷部分图像；提取缺陷部分图像额区域特征，按区域内的像素计算缺陷的基本参数。
27.铜粒子缺陷数据集中标注图像的标注信息包括有缺陷种类、缺陷形状和尺寸、铜粒子颜色深度和粒子聚集度。
28.图像识别训练的过程包括：从铜粒子缺陷数据集中选择一组包含输入数据和理论输出值的样本；将输入数据输入铜粒子检测系统得到对应的实际输出值；比较计算理论输出值和实际输出值的差值；按极小化误差的方法调整铜粒子检测系统中的参数，直到差值收敛。
29.本发明中，在阴极铜传输的过程中会存在设备遮挡等问题，使得无法一次性拍摄得到整个阴极铜表面，因此采用线阵相机来连续采集阴极铜表面的线性图像数据并合成完整的二维图像，不需要寻找特定的位置来采集完整图像，图像采集点设置的位置更灵活。同时采用经过深度学习训练后的铜粒子检测系统来进行缺陷识别，能更精确地识别分析缺陷数据，并且能根据实际需求来设定不同的缺陷参数阈值，来将阴极铜质量进行划分，从而可以灵活地满足不同用户对阴极铜的差异化要求。
30.本发明中完整的阴极铜板图像一般是以米为单位的大图像，将图像经过预处理分割成多个小的图像块后，可以按照图像块中存在的缺陷种类单独分类标注学习和识别，可以按照不同图像块采集时的外界光线情况进行分类识别，解决了大尺寸图像不同区域图片质量不同意的问题，尽量保证单一图像块中图片质量的统一。
31.本发明中铜粒子缺陷数据集包括预处理后的图像和其对应的标注图像，标注图像是指对预处理后的图像进行缺陷标注和涂鸦后进行反向选取的图像，以预处理后的图像作为输入值，标注图像作为理论输出值，对铜粒子检测系统进行图像识别训练，选取不同组预处理后的图像和标注图像进行重复训练直到经过铜粒子检测系统识别的结果与标注图像的差值收敛或小于一个定值就能说明完成训练。
32.本发明中铜粒子缺陷数据集中涵盖的缺陷种类越全，各项缺陷数据越丰富，则完成训练后铜粒子检测系统的识别效果越好，准确率越高。
33.本发明中的铜粒子检测系统主要分为卷积神经网络模块和金字塔池化模块两个部分，通过卷积运算获取图像的特征图谱，然后将图像通过金字塔池化模块进行多分辨率卷积处理并融合后，使得检测系统可以分割出图像中的背景像素和不同的铜粒子像素，然后比较实际识别的铜粒子输出结果和理论上应该输出的结果对铜粒子检测系统进行学习训练，最后得到符合要求的检测系统。
34.本发明中铜粒子检测系统在对预处理后的图像进行识别时，可以先提前设定缺陷阈值，每一个预处理后的图像经过识别后都会有一个实际输出值，在进行归一化处理后，若该实际输出值大于设定的缺陷阈值则可以认为该部分是缺陷，反之则认为是属于正常背景。本发明中判定阴极铜板的质量是根据客户对铜的质量评估标准进行判定的，例如：在单位面积中存在10个以上单个缺陷面积大于100平方毫米的阴极铜板属于b级铜。每个客户对质量的评估等级不完全相同的，可以根据客户的实际需求对评定标准进行调整。然后在检测过程中采集的图像有彩色的，铜绿是绿色、结晶是蓝色，可以通过颜色进行区分统计，对结果进行分析，根据满足的条件不同将其进行归类划分。
35.一种基于线阵相机的铜表面缺陷检测装置，包括：用于传送阴极铜板的传送模块；由线阵相机和光源组成的线阵相机采集模块，用于采集阴极铜板表面图像；工控机，用于接收采集到的阴极铜板表面图像数据并进行缺陷识别和分析；控制模块，用于接收工控机的识别和分析结果并控制整个装置的工作。
36.线阵相机采集模块中按照阴极铜板传输的方向依次设置光源和线阵相机；光源以一定的入射角照射到阴极铜板表面，线阵相机镜头正对的方向垂直于阴极铜板表面。
37.本发明中传送模块负责将阴极铜板从生产处经过缺陷检测后，依据阴极铜板质量的不同传输到不同的位置；线阵相机和光源配合，可以清晰地采集阴极铜板表面的图像，工控机与线阵相机相连，接收线阵相机采集到的图像数据，同时工控机将对图像数据分析识别后的结果传送到相连的控制模块中，有控制模块控制传送模块将不同质量的阴极铜板传送到不同的地方。
38.本发明中需要根据阴极铜板的传输速度来控制线阵相机拍摄采集图像的频率，使得连续采集后的图像可以完整的合成阴极铜板的表面图像；线阵相机和光源的相对位置设置是为了保证采集的每一帧图像的清晰度；同时线阵相机和光源组成的线阵相机采集模块可以根据实际需要灵活地设置在传送模块的不同位置。
39.在本发明的实施过程中，首先通过线阵相机采集阴极铜板的正反两面的图像，对于阴极铜板表面图像的采集有两种结构可以使用。
40.实施例一，如图2所示，是一种机器人机组式的图像采集机构，反面光源1以一定的倾斜角度照射到传送模块的竖直部分，反面相机2设置在反面光源下方，反面相机的镜头正对传送模块的竖直部分；正面光源4以一定的倾斜角度照射到传送模块的水平部分，正面相机5设置在正面光源的右侧，正面相机的镜头正对传送模块的水平部分。正面相机和反面相机都与工控机6连接进行数据传输，工控机与控制模块7相连进行数据传输。阴极铜板3首先从传送模块中竖直向下传送，在此过程中反面相机对阴极铜板的反面进行图像采集并合成得到完整的阴极铜板反面图像。当阴极铜板下降到与接板叉8相遇并固定后，接板叉带动阴
极铜板向右侧反转九十度，使阴极铜板正面竖直朝上，然后阴极铜板与接板叉脱离继续由传送模块向右侧传送，在此过程中，正面相机对阴极铜板的正面进行图像采集并合成得到完整的阴极铜板正面图像。反面相机和正面相机分别将反面图像和正面图像传输到工控机中对图像进行识别分析，得到的结果再传输到控制模块中，有控制模块控制传送模块将阴极铜板根据其检测的缺陷结果传送到不同的位置。
41.实施例二，如图2所示，是一种链式机组的图像采集机构，阴极铜板3竖直悬挂进行传送，在图中阴极铜板的传送方向由左向右，在阴极铜板的正面侧设置有正面相机5和正面光源4，正面光源以一定角度照射到阴极铜板的正面，正面相机的镜头正对阴极铜板的正面进行正面图像的采集。在阴极铜板的反面侧设置有反面相机2和反面光源1，反面光源、反面相机的设置和正面相机、正面光源相对于阴极铜板对称，反面相机对阴极铜板进行反面图像的采集。反面相机和正面相机与工控机6连接，将反面图像和正面图像传输到工控机中，工控机将图像数据进行识别分析后，将结果传输到与工控机连接的控制模块7中，由控制模块根据识别结果控制传送模块将阴极铜板传送到不同的位置。
42.在通过实施例一或实施例二完成阴极铜板的正面图像和反面图像的采集后，由工控机对采集到的图像进行数据分析。数据分析的过程中首先进行二维图像预处理，将图像转换到hsv颜色空间中，通过颜色识别算法识别出铜板所在的区域，截取铜板所在的区域图像，按尺寸分割成6
×
8个图像块，对每个图像块做高斯滤波，处理后的48个图像块即为预处理后的图像。
43.在对预处理后的图像进行缺陷识别之前，需要对缺陷识别工具即铜粒子检测系统进行深度学习训练，使得铜粒子检测系统的识别精度达到要求。如图4所示，对于铜粒子检测系统的深度学习训练过程如下：第一步是生成铜粒子缺陷数据集，铜粒子缺陷数据集包括预处理后的图像和与该图像对应的标注图像，这里的标注图像是对预处理后的图像进行缺陷标注后生成的，该标注图像是已经经过缺陷检测得到的理想数据结果，在图4中预处理后的图像即为输入图像，标注图像也如图所示；在输入图像数据和标注图像数据都已知的情况下对处于中间环节的铜粒子检测系统进行学习训练。
44.第二步是构建铜粒子检测系统，应用金字塔场景解析网络，由卷积神经网络模块和金字塔池化模块两部分构成铜粒子检测系统，卷积神经网络模块对预处理后的图像进行卷积运算来提取其特征图谱，金字塔池化模块则是对图像采取多通道不同模板的卷积后进行融合，最后能够使得图像能够根据背景像素和不同的铜粒子像素进行分割识别。图中为两个卷积核在argb四通道上进行卷积操作，在生成对应的图谱时，这个卷积核对应4个卷积模板，这一个卷积核对应的四个模板都不一样，特征图对应的位置的值是由四核卷积模板分别作用在4个通道的对应位置处的卷积结果相加然后取激活函数得到的，所以在四通道得到2通道的过程中，参数数目为4
×2×
4个，其中第一个4表示4个通道，2表示生成2个卷积核，最后的4表示卷积核大小。
45.第三步是用铜粒子缺陷数据集对铜粒子检测系统进行训练，使用缺陷数据集进行训练主要分两个过程，第一个过程是向前传播过程：从铜粒子缺陷数据集中选取一个样本(x,yp)，其中x为输入图像数据，yp为标注图像数据即理想输出值；将x代表的输入图像数据输入铜粒子检测系统中，计算此时相应的实际输出值op。第二过程是向后传播过程：比较计
算实际输出op和相应的理想输出值yp的差值；根据差值结果按极小化误差的方法反向传播调整权值矩阵，并重复选取铜粒子缺陷数据集中不同的样本进行训练，直至差值收敛。从而完成对铜粒子检测系统的深度学习训练。
46.在完成对铜粒子检测系统的训练后，将训练完成的铜粒子检测系统存放到工控机，然后进行正式的阴极铜板表面缺陷的检测。将正面相机和反面相机采集得到的正面图像和反面图像都传输到工控机中，首先对图像进行预处理，将预处理后的图像输入到铜粒子检测系统中进行识别。可以得到不同的缺陷识别结果，从而得到一张表面缺陷分布图，图中的每个像素对应部分都有相应的输出值，通过设定缺陷阈值对图像缺陷部分和正常部分进行判定，并分割经过深度学习检测的结果图像，分离出缺陷部分图像，再通过连通域标记，找出离散的缺陷连通域，按照像素计算每个连通域的面积、长、宽等基本参数，从而得到缺陷的基本属性，便于设置缺陷定义标准。对于缺陷定义以及阴极铜板的质量判定可以根据缺陷的形状、尺寸、数量进行自由组合定义，也可以通过对缺陷基本属性的运算得到凸系数或模糊度或纵横比等参数的组合来定义。
47.在完成对阴极铜板表面缺陷的识别后，根据客户对阴极铜板的质量评估标准将检测完成的阴极铜板进行质量评定，控制模块根据阴极铜板的质量不同将阴极铜板传输到不同的位置，对于实施例一种的机器人机组式传送模块，可以将阴极铜板依据质量不同分类摆放到不同的位置，对于实施例二中的链式机组传送模块，对不符合质量要求的阴极铜板拒收，在后期单独进行剥离。
48.上述实施例是对本发明的进一步阐述和说明，以便于理解，并不是对本发明的任何限制，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。