一种基于深度学习的裂纹缺陷检测系统的制作方法

1.本发明属于产品裂纹缺陷检测领域，涉及一种基于深度学习的裂纹缺陷检测系统。


背景技术：

2.随着计算机视觉技术的发展，目标检测技术被越来越广泛地应用到生产生活中，伴随应用领域扩展，工程应用中对目标检测准确度要求越来越高，尤其是航空航天领域，传统的目标检测方法无法满足其高精度要求，为适应实际应用场景中目标检测任务挑战，亟需引入更为先进算法提升检测准确度。在工业检测领域目前主要的检测方式仍然需要依赖大量人力，检测效率低下且经济代价高，随着深度学习技术的发展，高精度目标识别检测方法使得自动化工业检测成为可能，极大程度地解放了人力资源，节省了经济成本。裂纹缺陷是典型工业产品中最为常见的一类缺陷，如高铁机车部件、航空产品部件、运载火箭重要器件等生产中均有一定的几率出现。裂纹缺陷将导致产品在使用过程中因结构断裂而导致严重的事故，对裂纹缺陷的高准确度检测将有效保证产品质量，如在高铁列车日常检测任务中机车出现裂纹缺陷将导致严重的安全隐患。传统的检测方法，仅给出了目标在图像中外接矩形边框，在目标较为稀疏的情况下，此类方法能准确地给出目标位置信息，然而在目标密集的情况下，检测定位框中出现区域重叠，目标外接框中会纳入其他目标像素，造成目标分类和定位两方面准确度显著降低。此外，区别于经典数据集中的对象，实际工程应用里待检测目标往往是复杂的。例如，航天器工件裂纹检测任务中，裂纹往往是狭长或者网状延伸的，目标占图像的比率极低，而裂纹外接矩形中大部分像素均为图像背景。若使用像素级分割识别技术，裂纹所在像素将会完整地从背景中分离，识别结果突破了矩形区域限制，最大限度地降低了背景区域或其他目标像素的干扰，从而提升了检测的准确度。
3.从文献中看，目前在工程中应用的目标检测方法，大部分均为面向矩形区域预测算法，少部分方法虽然使用了像素级分割方法，但未实现多尺度下训练，无法满足目标多尺度下识别。


技术实现要素：

4.本发明解决的技术问题是：克服现有技术的不足，提出一种基于深度学习的裂纹缺陷检测系统，有效地提升目标检测算法对目标区域识别的准确度，给出了目标像素级的分类信息，降低了部分复杂外形目标区域识别错误率，高效可靠地实现目标精准定位。
5.本发明解决技术的方案是：
6.一种基于深度学习的裂纹缺陷检测系统，包括图像标注模块、图像预处理模块、数据增强模块、深度神经网络模块和算法预测模块；
7.图像标注模块：接收外部传来的图像，对每张图片依次进行目标位置标注、目标掩码标注处理，生成图像数据集；同时对每张图片进行目标注释处理，生成图像注释信息；并将图像数据集和图像注释信息发送至图像预处理模块；
8.图像预处理模块：接收图像标注模块传来的图像数据集，对图像数据集进行预处理，生成预处理后的图像，并将预处理后的图像发送至图像增强模块；接收图像标注模块传来的图像注释信息，将图像注释信息发送至图像增强模块；
9.图像增强模块：接收图像预处理模块传来的预处理后的图像和图像注释信息；根据图像注释信息对预处理后的图像进行旋转或裁剪处理；并在旋转或裁剪处理后的图像进行反转、镜像、缩放、加入随机噪声处理，生成新的图像和注释；并将新的图像和注释发送至深度神经网络模块；
10.深度神经网络模块：接收图像增强模块传来的新的图像和注释；将新的图像和注释作为神经网络模型的输入，进行神经网络训练，输出神经网络模型的权重；接收外部输入的待检测图像；加载神经网络模型的权重对待检测图像再次进行神经网络训练，获得训练后的图像，并将训练后的图像发送至算法预测模块；
11.算法预测模块：接收深度神经网络模块传来的训练后的图像；根据训练后的图像获得待检测图像的目标类别、目标位置和像素级类别；根据待检测图像的目标类别、目标位置和像素级类别实现后续裂纹周长、裂纹面积和裂纹长度的分析。
12.在上述的一种基于深度学习的裂纹缺陷检测系统，图像预处理模块对图像数据集进行预处理的具体内容为：
13.依次使用滤波算法去除图像数据集的随机噪声、使用频域处理技术去除图像数据集的频域内噪声、使用直方图均衡增加图像数据集的对比度。
14.在上述的一种基于深度学习的裂纹缺陷检测系统，所述图像增强模块通过在旋转或裁剪处理后的图像进行反转、镜像、缩放、加入随机噪声处理实现增加图像的数量及目标的多样性。
15.在上述的一种基于深度学习的裂纹缺陷检测系统，图像增强模块根据图像注释信息中的旋转字段或剪切字段对预处理后的图像进行旋转或裁剪处理。
16.在上述的一种基于深度学习的裂纹缺陷检测系统，所述深度神经网络模块对新的图像和注释进行神经网络训练前，对新的图像和注释依次进行候选特征提取，roi区域生成、边框回归、掩码生成处理。
17.在上述的一种基于深度学习的裂纹缺陷检测系统，所述深度神经网络模块对新的图像和注释进行神经网络训练时，读取新的图像和注释的超参和尺度缩放参数，通过求解网络各单元隐层数据实现前向传播，通过误差反向传递更新权重，网络输出值和期望输出之间的误差在给定的误差区间内训练结束，输出神经网络模型的权重。
18.在上述的一种基于深度学习的裂纹缺陷检测系统，所述算法预测模块采用裂纹形态学分析法，根据训练后的图像获得待检测图像的目标类别、目标位置和像素级类别进行裂纹长度分析、裂纹面积分析和裂纹周长分析。
19.本发明与现有技术相比的有益效果是：
20.(1)通过本发明提出的一种裂纹缺陷检测方法，为目标识别建立了多尺度多任务识别的处理流程，在传统目标识别算法预测目标矩形位置信息的基础上，增加了目标像素级位置信息，实现目标精准定位，提升了目标识别的准确度，通过目标像素区域外接矩形纠正了模型预测目标矩形位置；
21.(2)本发明涉及的神经网络算法在训练过程中考虑到目标实际尺寸，实现了多尺
度网络训练，降低目标漏检率；
22.(3)本发明涉及的神经网络算法使用生成对抗网络技术，通过多类型样本扩增解决了数据样本分布不平衡问题；
23.(4)本发明涉及的神经网络算法集成了多个尺度样本的模型，大尺度模型适应小目标检测任务、中尺度模型适应中目标检测任务、小尺度模型适应小目标检测任务。
附图说明
24.图1为本发明裂纹缺陷检测系统示意图；
25.图2为本发明图像标注模块工作流程图；
26.图3为本发明图像增强模块工作流程图；
27.图4为本发明深度神经网络构建流程图；
28.图5为本发明深度神经网络模块工作流程图。
具体实施方式
29.下面结合实施例对本发明作进一步阐述。
30.本发明提出一种基于深度学习的裂纹缺陷检测系统，通过合理设计神经网络架构，实现目标区域矩形坐标、目标类别、目标像素区域多任务识别，依托像素级分割识别算法的优势，有效地提升目标检测算法对目标区域识别的准确度，给出了目标像素级的分类信息，降低了部分复杂外形目标区域识别错误率，高效可靠地实现目标精准定位，从而提高实际工程应用中对目标检测算法高准确度的需求，为高精度目标识别应用场景提供了有力的算法支撑。
31.基于深度学习的裂纹缺陷检测技术，包含4个过程，分别是数据集构建过程、算法训练过程、算法测试过程、裂纹形态分析过程。裂纹缺陷检测系统，如图1所示，包括图像标注模块、图像预处理模块、数据增强模块、深度神经网络模块和算法预测模块。
32.图像标注模块：接收外部传来的图像，对每张图片依次进行目标位置标注、目标掩码标注处理，生成图像数据集；同时对每张图片进行目标注释处理，生成图像注释信息；并将图像数据集和图像注释信息发送至图像预处理模块。
33.图像预处理模块：接收图像标注模块传来的图像数据集，对图像数据集进行预处理，生成预处理后的图像，并将预处理后的图像发送至图像增强模块；接收图像标注模块传来的图像注释信息，将图像注释信息发送至图像增强模块；图像预处理模块对图像数据集进行预处理的具体内容为：依次使用滤波算法去除图像数据集的随机噪声、使用频域处理技术去除图像数据集的频域内噪声、使用直方图均衡增加图像数据集的对比度。
34.图像增强模块：接收图像预处理模块传来的预处理后的图像和图像注释信息；根据图像注释信息对预处理后的图像进行旋转或裁剪处理；图像增强模块通过在旋转或裁剪处理后的图像进行反转、镜像、缩放、加入随机噪声处理实现增加图像的数量及目标的多样性。并在旋转或裁剪处理后的图像进行反转、镜像、缩放、加入随机噪声处理，生成新的图像和注释；并将新的图像和注释发送至深度神经网络模块。图像增强模块根据图像注释信息中的旋转字段或剪切字段对预处理后的图像进行旋转或裁剪处理。
35.深度神经网络模块：接收图像增强模块传来的新的图像和注释；将新的图像和注
释作为神经网络模型的输入，进行神经网络训练，输出神经网络模型的权重；接收外部输入的待检测图像；加载神经网络模型的权重对待检测图像再次进行神经网络训练，获得训练后的图像，并将训练后的图像发送至算法预测模块。深度神经网络模块对新的图像和注释进行神经网络训练前，对新的图像和注释依次进行候选特征提取，roi区域生成、边框回归、掩码生成处理。深度神经网络模块对新的图像和注释进行神经网络训练时，读取新的图像和注释的超参和尺度缩放参数，通过求解网络各单元隐层数据实现前向传播，通过误差反向传递更新权重，网络输出值和期望输出之间的误差在给定的误差区间内训练结束，输出神经网络模型的权重。
36.算法预测模块：接收深度神经网络模块传来的训练后的图像；根据训练后的图像获得待检测图像的目标类别、目标位置和像素级类别；根据待检测图像的目标类别、目标位置和像素级类别实现后续裂纹周长、裂纹面积和裂纹长度的分析。
37.算法预测模块采用裂纹形态学分析法，根据训练后的图像获得待检测图像的目标类别、目标位置和像素级类别进行裂纹长度分析、裂纹面积分析和裂纹周长分析。该过程属图像识别任务后处理过程。
38.如图2所示，图像标注模块的具体工作过程为：
39.1.读入源数据或者存放文件的目录，获取文件名、文件后缀等信息；
40.2.判断上述读入的源数据是否为视频数据，一般通过匹配文件后缀完成此操作，后缀如果是视频文件格式(如mp4)则说明源数据为视频数据，进入步骤3进程处理，如果不是视频数据则进入步骤6；
41.3.读入视频源数据，调用开源视频解码器将视频文件解码为视频流数据；
42.4.将解码后的视频流数据进行帧解析，得到每一帧的视频数据；
43.5.用户设置帧截取频率，按照截取频率从解帧后的视频数据中获取图像；
44.6.创建一个文件，命名为dataset,将既定频率解帧得到图像或者存储在设备上的源图像，存储在dataset里；
45.7.读取dataset文件夹信息，包括文件夹名称、文件夹目录结构、包含的文件信息等，获取dataset中图像文件的数量num；
46.8.读取dataset中的一张图像到标注工具via；
47.9.在标注工具via中标注当前图像所包含目标的矩形位置信息，使用左上角坐标、目标高度、目标宽度等量来表示矩形位置
48.10.在标注工具via中，使用多边形标注工具，标记目标的外形掩码，掩码尽可能贴近目标真实轮廓；
49.11.标注目标的标签信息，可选择键入或者下拉菜单输入两种方式,此外还需标注目标是否可旋转、可裁剪；
50.12.如果已标注的图像数量等于num，那么表明图像标注工作已结束，生成图像标注注释json文件，跳出图片标注模块，否则转入步骤8。
51.如图3所示，图像增强模块的工作流程为：
52.1.读入已经预处理的图像及图像标注信息，从标注信息中读取图像名和对应图像名的标注信息；
53.2.判断标注信息中旋转信息字段是否为true,如果不满足则跳转到步骤4，判定图
像是否可以剪裁；
54.3.生成一个开区间(0，360)之间的随机数r，以目标外接矩形的中心为旋转中心旋转r度，对应地按照变换关系计算旋转后图像标注信息，如矩形位置框坐标、图像像素级位置信息。
55.4.判断标注信息中裁剪信息字段是否为true,如果不满足则跳转到步骤6，判定图像是否可以剪裁；
56.5.获取目标左上角点(x,y)，高度ht,宽度wt,获取图像高度h,宽度w,生成随机数δw∈(0,w-wt)，δh∈(0,h-ht)，获得剪裁区域左角点(x-δw,y-δh)，裁剪区域宽度w 2δw，裁剪区域高度h 2δh，对应地按照变换关系计算旋转后图像标注信息，如矩形位置框坐标、图像像素级位置信息，得到目标裁剪后新生成的图像与注释；
57.6.将图像翻转、镜像，生成新图片和注释文件；
58.7.将图像缩放形成新的图片，按照缩放变换关系生成新图片和注释文件；
59.8.在图像中加入随机噪声，生成新图片和注释文件，此步骤结束后，跳出图像增强模块。
60.如图4所示，深度卷积神经网络构建流程为：
61.1.预处理经过数据增强的图像和注释文件输入特征提取网络；
62.2.特征提取网络经过卷积运算获得图像的feature map；
63.3.为feature map中的每一个点设立感兴趣的图像区域roi；
64.4.获取roi的个数num；
65.5.选择一个roi送入rpn网络，rpn网络生成一个候选目标区域；
66.6.roi候选目标区域进行二值化分类，区分前景和背景；
67.7.对候选区域的边框进行回归；
68.8.判断roi处理个数是否得到了num,也就是说是否所有的候选roi都经过了处理，如果不满足条件，跳到步骤5；
69.9.根据roi分类和边框回归结果，使用超参中设定的阈值进行roi区域筛选过滤；
70.10.获取筛选后roi的个数；
71.11.选择一个roi区域进行多分类；
72.12.对roi区域的边框再次进行回归；
73.13.对roi区域内目标进行图像掩码生成，获取目标准确的像素级位置信息计算；
74.14判断roi区域是否均处理完成，否则跳转步骤11。
75.如图5所示，深度神经网络模块工作流程为：
76.1.读入图像数据，并将其展开为神经网络张量；
77.2.读入图像标注文件，解析目标外接矩阵坐标；
78.3.读取图像掩码标注信息，创建与待处理图像等尺寸掩码图像，将目标区域填充为白色，背景填充为黑色；
79.4.读取神经网络超参包括学习率、迭代次数、收敛误差区间等，同时读取图像尺度参数(大l、中m、小s)；
80.5.按照尺度缩放参数，进行图像缩放；
81.6.按照超参中，图像批次数据构建一个批次训练数据，送入深度神经网络；
82.7.求神经网络各隐藏层、输出层的值；
83.8.求神经网络输出层与标注信息的实际值之间的误差e；
84.9.若误差在超参规定的范围，训练结束，跳转到步骤；
85.10.计算各层神经元误差量；
86.11.求误差梯度；
87.12.使用误差梯度更新权重，跳转到步骤613.与其他尺度下深度神经网络模型集成，训练过程结束。
88.通过本发明可显著提升裂纹缺陷检测的准确度，使用多尺度像素级图像分割识别方法，有效降低算法漏检率，进一步提高目标检测的效率，本发明涉及的方法是一种多任务方法，单次训练完成目标标签识别、目标位置矩形预测、目标像素级位置预测三种任务，使用像素级分割识别方法，精准确定了目标信息。利用裂纹瑕疵像素级信息可估算出裂纹长度、面积、周长，可定量评估裂纹工况。因此，将该技术应用于工程实际具有重要意义。
89.本发明虽然已以较佳实施例公开如上，但其并不是用来限定本发明，任何本领域技术人员在不脱离本发明的精神和范围内，都可以利用上述揭示的方法和技术内容对本发明技术方案做出可能的变动和修改，因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化及修饰，均属于本发明技术方案的保护范围。