一种复合材料表面缺陷的检测方法及装置与流程

1.本发明涉及复合材料的检测领域，特别涉及一种复合材料表面缺陷的检测方法及装置。


背景技术：

2.目前，对复材蒙皮零件表面质量的检测主要通过肉眼观察零件表面情况的方式判断零件表面是否存在缺陷，这种方式存在许多问题：(1)检测环境差，可能会对复材蒙皮零件带来新的机械损伤；(2)皮革产品的表面积大，检测员工工作强度高，检测起来困难，效率较低；(3)每个检测人员的判定标准不一样，没有统一标准，个人的主观因素占比大；(4)随着工作时间的增加，工人的视觉开始疲劳，漏检率会大大增高；(5)人工检测增加了工业生产的成本；(6)无法满足产品高效率、高精度、智能化、批量化的检测要求。


技术实现要素：

3.为了解决上述问题，本发明提供一种检测准确度高、全自动高效的复合材料表面缺陷的检测方法及装置。
4.为了实现上述目的，本发明一方面提供一种复合材料表面缺陷的检测方法，包括：
5.利用检测设备获取待测复合材料表面图像；
6.对所述图像进行预处理从而得到预处理样本；其中，所述预处理样本包括训练样本、验证样本以及测试样本；
7.标注出所述训练样本中的缺陷的位置；其中，所述缺陷包括表面凹坑和表面划痕；
8.将标注后的述训练样本输入yolo神经网络进行训练直至所述yolo神经网络收敛；
9.将所述验证样本输入收敛后的yolo神经网络，对该yolo神经网络的训练效果进行验证；
10.将测试样本输入到经过验证后的yolo神经网络，识别出的缺陷的大小及置信度数值大于预设标准值时，将得到的缺陷信息保存并在原图像上标注位置坐标，将检测到的缺陷像素坐标转化成实际坐标。
11.作为优选的一种技术方案，所述检测设备包括：
12.运动单元，所述运动单元为xz方向二维运动平台，并将构成图像处理单元的嵌入式arm板和无线传输模块集成于其后部，用于调节拍摄单元到待测零件的距离；
13.拍摄单元，由多台工业相机组成，安装于所述运动单元上，用于采集所述待测复合材料表面图片；
14.照明单元，由环形光源或穹顶光源组成，分别与多台工业相机同轴线安装，用于给复合材料表面打光，以提高采集图片质量；
15.滑轨，与固定调整单元中夹具系统滑块相连，用于调节夹具滑块的位置以适应不同大小的待测复合材料装夹；
16.运动单元地轨，与运动单元相连，用于控制运动单元的x向移动；
17.固定调整单元，包括一对柔性夹具，用于装夹复合材料，通过调节夹具滑块和紧定螺钉来实现不同长度与厚度复合材料的紧固装夹；
18.图像处理单元，由arm板和无线传输模块组成，arm板集成了yolo深度学习模型的图像处理程序，将工业相机采集到图像中的复合材料表面缺陷检测出来并标注，再由无线传输模块将有划痕缺陷的图片传输到工控机数据库中。
19.作为优选的一种技术方案，将所述训练样本对yolo神经网络进行训练直至所述yolo神经网络收敛，进一步包括：
20.将所述训练样本其制作成voc格式数据集，手动将图像中划痕的真实边界框标注，自动生成yolo神经网络需要的xml文件；将voc格式的xml文件转换成yolo神经网络需要的txt文件；
21.确定yolo神经网络的训练参数，其中，所述训练参数包括学习率0.001，batchsize为32，迭代次数为500次；
22.将训练样本中的图像进行预处理，将尺寸调整后的图像送入yolo神经网络进行训练；观察训练过程中的loss曲线，判断yolo神经网络是否收敛；如果收敛，则停止训练；如果未收敛，则继续训练。
23.作为优选的一种技术方案，所述yolo神经网络的损失函数包括边界框损失、置信度损失和分类损失，其计算公式分别如下：
24.loss＝loss
box
loss
obj
loss
cls
25.所述loss
box
表示边界框损失函数，其计算公式如下：
[0026][0027]
其中，λ
box
是坐标预测的惩罚系数，xi，yi，wi，hi表示预测目标边界框的横坐标、纵坐标、宽度、高度的值，表示真实目标边界框中心的横坐标、纵坐标、宽度、高度的值，s2为划分网格数，b为每个网格预测边界框的数量，判断第j个边界框所在的第i个网格是否负责检测该缺陷；
[0028]
所述loss
obj
表示置信度损失函数，其计算公式如下：
[0029][0030]
其中，λ
noobj
表示网格中不包含检测目标时置信度的惩罚系数，ci为预测置信度，表示第i个网格中目标缺陷属于某一类别的的真实置信度，表示第i个网格的第j个边界框中不包含目标缺陷；
[0031]
所述loss
cls
表示置信度损失函数，其计算公式如下：
[0032][0033]
其中，λ
class
表示网格中不包含检测目标时类别的惩罚系数，c示预测目标缺陷类
别，pi(c)示第i个网格中目标属于某一类缺陷的预测概率值，表示第i个网格中目标属于某一类缺陷的真实概率值，表示第i个网格是否负责目标缺陷。
[0034]
作为优选的一种技术方案，标注出所述训练样本中的缺陷的位置，进一步包括：
[0035]
使用labelimg软件对训练样本进行标注；
[0036]
对每一张图片，都用矩形框将缺陷位置标注；
[0037]
标注完成后，每张图片会生成一个xml文件，文件中存有对应图片的缺陷位置和标注的类别信息。
[0038]
作为优选的一种技术方案，对所述图像进行预处理从而得到预处理样本，进一步包括：
[0039]
对所述图像依次进行滤波去噪、灰度化、图像分割处理；
[0040]
将处理后的图像划分为训练样本、验证样本以及测试样本。
[0041]
作为优选的一种技术方案，根据权利要求6所述的检测方法，其特征在于：所述训练样本与测试样本的比例为9:1。
[0042]
另一方面，本发明还提供一种复合材料表面缺陷的检测装置，包括：
[0043]
获取单元，用于利用检测设备获取待测复合材料表面图像；
[0044]
预处理单元，用于对所述图像进行预处理从而得到预处理样本；其中，所述预处理样本包括训练样本、验证样本以及测试样本；
[0045]
标注单元，用于标注出所述训练样本中的缺陷的位置；其中，所述缺陷包括表面凹坑和表面划痕；
[0046]
训练单元，用于将标注后的述训练样本输入yolo神经网络进行训练直至所述yolo神经网络收敛；
[0047]
验证单元，用于将所述验证样本输入收敛后的yolo神经网络，对该yolo神经网络的训练效果进行验证；
[0048]
检测单元，用于将测试样本输入到经过验证后的yolo神经网络，识别出的缺陷的大小及置信度数值大于预设标准值时，将得到的缺陷信息保存并在原图像上标注位置坐标，将检测到的缺陷像素坐标转化成实际坐标。
[0049]
本发明相对于现有技术的有益效果是：本发明通过检测设备获取图像，然后通过对yolo神经网络进行训练，通过yolo来标注复合材料上的缺陷，实现对表面缺陷的自动化在线检测，消除现有方法弊端，降低错漏检风险，提高零件表面质量检测准确性、稳定性和效率。
[0050]
另外，本发明采用的图像采集模块采用穹顶光源来照射复合材料零件表面，可最大限度地避免复合材料表面的反光影响，而且夹具系统通过夹具滑块和紧定螺钉的调节，以完成对不同长度、不同厚度尺寸零件的装夹，图像处理系统通过嵌入式arm板和无线传输模块作为硬件设备，采用yolo深度学习检测方法实现对复合材料零件表面缺陷的自动检测标注。
附图说明
[0051]
图1是本发明提供的一种复合材料表面缺陷的检测方法的流程图；
[0052]
图2是本发明提供的检测设备的结构图；
[0053]
图3是本发明提供的一种复合材料表面缺陷的检测装置的结构图。
具体实施方式
[0054]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0055]
参照图1，本实施例提供一种复合材料表面缺陷的检测方法，包括以下步骤：
[0056]
s10：利用检测设备获取待测复合材料表面图像；
[0057]
具体的，如图2所示，检测设备包括运动单元101，所述运动单元为xz方向二维运动平台，并将构成图像处理单元的嵌入式arm板和无线传输模块集成于其后部，用于调节拍摄单元到待测零件的距离；
[0058]
拍摄单元102，由多台工业相机组成，安装于所述运动单元上101上，用于采集所述待测复材零件表面图片；在此需要说的是，拍摄单元102可以是多个ccd或者cmos相；
[0059]
照明单元103，由环形光源或穹顶光源组成，分别与多台工业相机同轴线安装，用于给复材零件表面打光，以提高采集图片质量；在本实施例中，照明单元103为环绕所述待测件的180度光源；
[0060]
滑轨104，与固定调整单元107中夹具系统滑块相连，用于调节夹具滑块的位置以适应不同大小的待测复材零件装夹；
[0061]
运动单元地轨105，与运动单元相连，用于控制运动单元的x向移动；
[0062]
待测复材蒙皮零件106，作为待测零件供相机组采集表面图片；
[0063]
固定调整单元107，包括一对柔性夹具，用于装夹复合材料零件，可通过调节夹具滑块和紧定螺钉来实现不同长度与厚度复合材料零件的紧固装夹，在此需要说明的是，固定单元105和调整单元107为所述待测件的柔性夹具，可以适应不同型号、长度的复材蒙皮零件，并有角度调节功能；
[0064]
图像处理单元108，由arm板和无线传输模块组成，arm板集成了“yolo”深度学习模型的图像处理程序，将工业相机采集到图像中的零件表面缺陷检测出来并标注，再由无线传输模块将有划痕缺陷的图片传输到工控机数据库中。
[0065]
获取图像时，先将将复合材料检测装置硬件设备初始化，完成运动单元101和拍摄单元102、照明单元103的初检，将待测复材蒙皮零件106使用固定调整单元107装夹，使其垂直于工业相机102的镜头；接着根据当前零件尺寸、检测精度等设置系统采集模块参数，将运动单元101的竖直导轨和水平导轨调整到检测初始位置；在当前系统设置参数和检测状态下，完成检测系统在机标定；最后，待其他器件安装就绪后，运动单元101搭载拍摄单元102和照明电源103完成零件表面横向图片采集。
[0066]
s20：对所述图像进行预处理从而得到预处理样本；其中，所述预处理样本包括训练样本、验证样本以及测试样本；
[0067]
具体的，对所述拍摄图像进行滤波去噪、灰度化、图像分割等图像预处理操作。在本实施例中，使用高斯滤波算法进行图像去噪，图像分割选择把图像分割为512
×
512的多
个小正方形图像。
[0068]
预处理完成之后，将所有的样本分为训练样本、验证样本以及测试样本，在本实施例中，所述训练样本与测试样本的比例为9:1。
[0069]
在另外一些实施例中，可以理解为在其他的实施方式中所述图像预处理还可以采用其他滤波算法，可以理解为在本实施方式中只要能将图像增强即可。
[0070]
s30：标注出所述训练样本中的缺陷的位置；其中，所述缺陷包括表面凹坑和表面划痕；
[0071]
具体的，在本实施例中，拍摄尽可能多的复材蒙皮零件表面凹坑图片以制作数据集，对图像进行标注，将不利于训练的图像删除，具体的标注由人工完成，使用开源的labelimg软件对训练的图像进行标注；对每一张图片，都用矩形框将凹坑缺陷位置标注；标注完成后，每张图片会生成一个xml文件，文件中存有对应图片的缺陷位置和标注的类别信息；
[0072]
s40：将标注后的述训练样本输入yolo神经网络进行训练直至所述yolo神经网络收敛；
[0073]
具体的，将所述训练样本其制作成voc格式数据集，手动将图像中划痕的真实边界框标注，自动生成yolo神经网络需要的xml文件；将voc格式的xml文件转换成yolo神经网络需要的txt文件；然后确定yolo神经网络的训练参数，其中，所述训练参数包括学习率0.001，batchsize为32，迭代次数为500次；
[0074]
最后，将训练样本中的图像进行预处理，将尺寸调整后的图像送入yolo神经网络进行训练；观察训练过程中的loss曲线，判断yolo神经网络是否收敛；如果收敛，则停止训练；如果未收敛，则继续训练。
[0075]
在本实施例中，上述yolo神经网络的损失函数包括边界框损失、置信度损失和分类损失，其计算公式分别如下：
[0076]
loss＝loss
box
loss
obj
loss
cls
[0077]
所述loss
box
表示边界框损失函数，其计算公式如下：
[0078][0079]
其中，λ
box
是坐标预测的惩罚系数，xi，yi，wi，hi表示预测目标边界框的横坐标、纵坐标、宽度、高度的值，表示真实目标边界框中心的横坐标、纵坐标、宽度、高度的值，s2为划分网格数，b为每个网格预测边界框的数量，判断第j个边界框所在的第i个网格是否负责检测该缺陷；
[0080]
所述loss
obj
表示置信度损失函数，其计算公式如下：
[0081][0082]
其中，λ
noobj
表示网格中不包含检测目标时置信度的惩罚系数，ci为预测置信度，
表示第i个网格中目标缺陷属于某一类别的的真实置信度，表示第i个网格的第j个边界框中不包含目标缺陷；
[0083]
所述loss
cls
表示置信度损失函数，其计算公式如下：
[0084][0085]
其中，λ
class
表示网格中不包含检测目标时类别的惩罚系数，c示预测目标缺陷类别，pi(c)示第i个网格中目标属于某一类缺陷的预测概率值，表示第i个网格中目标属于某一类缺陷的真实概率值，表示第i个网格是否负责目标缺陷。
[0086]
s50：将所述验证样本输入收敛后的yolo神经网络，对该yolo神经网络的训练效果进行验证；
[0087]
s60：将测试样本输入到经过验证后的yolo神经网络，识别出的缺陷的大小及置信度数值大于预设标准值时，将得到的缺陷信息保存并在原图像上标注位置坐标，将检测到的缺陷像素坐标转化成实际坐标。
[0088]
具体的，模型识别出的表面凹坑或者划痕大小及置信度大于等于预设标准值时，yolo神经网络的定位算法可以获得所识别凹坑或划痕的位置信息，并将此测试样本标记为不合格件，同时将所述缺陷类别的预测框在所述输入图像上以红色标注并高亮显示，使用激光笔在复材零件上映射出实际缺陷位置。
[0089]
通过上述方法步骤，复合材料表面凹坑或者划痕缺陷可以通过检测装置自动化检测完成。图像采集系统可以通过运动单元的水平与竖直导轨来实现拍摄位置的改变，以实现最佳的拍摄效果；通过夹具系统夹具滑块和紧定螺钉的调节，以完成对不同长度、不同厚度尺寸零件的装夹；图像处理系统通过嵌入式arm板和无线传输模块实现对复合材料零件表面凹坑或者划痕缺陷的自动检测标注。
[0090]
另一方面，本发明还提供一种复合材料表面缺陷的检测装置，包括：
[0091]
获取单元10，用于利用检测设备获取待测复合材料表面图像；在此需要说明的是，由于具体的获取方法以及过程在上述一种复合材料表面缺陷的检测方法的步骤s10中已经详细阐述，故在此不再赘述。
[0092]
预处理单元20，用于对所述图像进行预处理从而得到预处理样本；其中，所述预处理样本包括训练样本、验证样本以及测试样本；在此需要说明的是，由于具体的预处理方法以及过程在上述一种复合材料表面缺陷的检测方法的步骤s20中已经详细阐述，故在此不再赘述。
[0093]
标注单元30，用于标注出所述训练样本中的缺陷的位置；其中，所述缺陷包括表面凹坑和表面划痕；在此需要说明的是，由于具体的标注方法以及过程在上述一种复合材料表面缺陷的检测方法的步骤s30中已经详细阐述，故在此不再赘述。
[0094]
训练单元40，用于将标注后的述训练样本输入yolo神经网络进行训练直至所述yolo神经网络收敛；在此需要说明的是，由于具体的训练方法以及过程在上述一种复合材料表面缺陷的检测方法的步骤s40中已经详细阐述，故在此不再赘述。
[0095]
验证单元50，用于将所述验证样本输入收敛后的yolo神经网络，对该yolo神经网
络的训练效果进行验证；在此需要说明的是，由于具体的验证方法以及过程在上述一种复合材料表面缺陷的检测方法的步骤s50中已经详细阐述，故在此不再赘述。
[0096]
检测单元60，用于将测试样本输入到经过验证后的yolo神经网络，识别出的缺陷的大小及置信度数值大于预设标准值时，将得到的缺陷信息保存并在原图像上标注位置坐标，将检测到的缺陷像素坐标转化成实际坐标；在此需要说明的是，由于具体的检测方法以及过程在上述一种复合材料表面缺陷的检测方法的步骤s60中已经详细阐述，故在此不再赘述。。
[0097]
另外，本发明实施例还提供一种计算机可读存储介质，其中，该计算机可读存储介质可存储有程序，该程序执行时包括上述方法实施例中记载的任何复合材料表面缺陷的检测方法的部分或全部步骤。
[0098]
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0099]
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储器包括：u盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
[0100]
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、只读存储器(英文：read-only memory，简称：rom)、随机存取器(英文：random access memory，简称：ram)、磁盘或光盘等。
[0101]
以上参照附图描述了根据本发明的实施例的用于实现复合材料表面缺陷的检测方法的示例性流程图。应指出的是，以上描述中包括的大量细节仅是对本发明的示例性说明，而不是对本发明的限制。在本发明的其他实施例中，该方法可具有更多、更少或不同的步骤，且各步骤之间的顺序、包含、功能等关系可以与所描述和图示的不同。