一种基于深度卷积神经网络的木材表面缺陷检测系统

1.本发明涉及机器视觉技术领域，特别是指一种基于深度卷积神经网络的木材表面缺陷检测系统。


背景技术：

2.木材来源便捷可再生，家具制造不可缺少的原材料。木材表面缺陷是指木材在生长或生产加工的过程中，由于生长环境或生产工艺等因素致使木材表面局部区域出现物理或外观缺陷。常见的木材表面缺陷有节子、变色、腐朽、虫害、裂纹、伤疤(损伤)、木材加工缺陷、变形等。表面缺陷是结构脆弱的关键点，常常成为木材受力断裂的原因，大大降低的木制品的抗疲劳强度。同时，市场对于木制品的外观要求高，表面缺陷木材的误用常成为生产出现残次品的主要原因。因此及时检测木材表面缺陷，对缺陷进行严重程度评价，对于提高表面质量和产品经济效益有着重要意义。
3.随着我国工业化水平的不断发展，对木材表面质量的要求也越来越高，如何快速准确地检测出表面缺陷成为木材生产过程中非常关键的一个环节。现有的表面缺陷检测系统均采用传统的模式识别或机器学习方法，在工业相机获取木材表面图片后，对图片进行预处理，接着对预处理后的图片需要人为设计特征提取算法提取特征；由于具体图像的处理方法和特征提取方法不同，特定方法可能只对某几种特定的缺陷分类效果较好，对其他种类的缺陷分类效果较差，且其过程繁琐，因此传统方法对图片的处理速度较慢，无法满足工业现场在线检测的实时性要求。


技术实现要素：

4.本发明要解决的技术问题是提供一种基于深度卷积神经网络的木材表面缺陷检测系统，以解决现有技术所存在的无法满足工业现场在线检测的准确性和实时性要求的问题。
5.为解决上述技术问题，本发明实施例提供一种基于深度卷积神经网络的木材表面缺陷检测系统，包括：激光雷达、相机、用于安装所述相机的安装架及处理器模块；其中，
6.所述安装架，横跨于工业现场传送带之上；
7.所述激光雷达、相机，安装在所述安装架上，用于实时采集传送带上木材的表面图像；
8.所述处理器模块，用于采用深度卷积神经网络算法，对实时采集的木材的表面图像进行缺陷识别。
9.进一步地，所述相机为工业ccd相机。
10.进一步地，所述雷达为dtof高精度激光雷达。
11.进一步地，所述系统还包括：上位机；
12.所述处理器模块，用于将识别结果通过通信线缆上传至上位机；
13.所述上位机，用于对接收到的识别结果进行展示。
14.进一步地，深度卷积神经网络的结构包括：图像输入层、深度信息输入层、与所述不同输入层连接的卷积层、与不同卷积层连接的信息混合层、与所述信息混合层连接的池化层、及所述池化层连接的结果输出层。
15.进一步地，所述图像输入层，用于输入实时采集的木材的表面图像，对于输入的每张图像，在深度方向上的某个层，对应着多个神经元，每个神经元各自分别对应于相应图像中的某一种颜色或是形状特征，提取各局部区域的特征，并根据提取的各局部区域的特征组成全局的数据矩阵，同时将神经元的权重组成权值矩阵；
16.所述输入层，还用于将所述局部区域数据矩阵和权值矩阵输出至所述卷积层。
17.进一步地，神经元的权重表现为卷积和的形式。
18.进一步地，所述深度信息输入层，用于输入实时采集的木材的激光雷达点云，对于输入的每张点云，在深度方向上的某个层，对应着多个神经元，每个神经元各自分别对应于相应点云中的某一种形状特征，提取各局部区域的特征，并根据提取的各局部区域的特征组成全局的数据矩阵，同时将神经元的权重组成权值矩阵。；
19.进一步地，所述信息融合层，用于融合图像分支和雷达点云分支的特征。信息融合层存在两个分支，其一为点特征融合，将图像和雷达的点与点的特征对应相加，获得点对应位置的增强特征；其二为区域特征融合，将图像特征和雷达特征拼合并使用3
×
3卷积降维，获取区域的增强特征。最终，将两分支特征组成全局的数据矩阵。
20.进一步地，所述结果输出层，用于输出缺陷类别和精确位置。其包含无缺陷、节子、变色、腐朽、虫害、裂纹、伤疤(损伤)、木材加工缺陷、变形这9个类别和2维检测框位置、大小、置信度这5个信息，数据矩阵为7
×7×
14。
21.本发明的上述技术方案的有益效果如下：
22.上述方案中，通过安装在安装架上的激光雷达、相机实时采集传送带上木材的表面图像；并通过处理器模块采用深度卷积神经网络算法，对实时采集的木材的表面图像进行缺陷识别。对于木材缺陷检测，深度卷积神经网络算法不同于传统的模式识别或机器学习方法，深度卷积网络不需要积累大量的专业知识，且深度卷积网络是由简单模块的多层堆叠，每个模块都是训练学习所得，不需要人为设计特征提取算法提取特征，能够提高木材表面缺陷的检测速度。
附图说明
23.图1为本发明实施例提供的基于深度卷积神经网络的木材表面缺陷检测系统的流程示意图；
24.图2为本发明实施例提供的基于深度卷积神经网络的木材表面缺陷检测系统的详细结构示意图。
25.图3为本发明实施例提供的深度卷积神经网络的结构示意图。
具体实施方式
26.为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。
27.本发明针对现有的无法满足工业现场在线检测的实时性要求的问题，提供一种基
于深度卷积神经网络的木材表面缺陷检测系统。
28.如图1所示，本发明实施例提供的基于深度卷积神经网络的木材表面缺陷检测系统，包括：激光雷达10、相机11、用于安装所述激光雷达10、相机11的安装架12及处理器模块13；其中，
29.所述安装架12，横跨于工业现场传送带之上；
30.所述激光雷达10，安装在所述安装架12上，用于实时采集传送带上木材的深度点云；
31.所述相机11，安装在所述安装架12上，用于实时采集传送带上木材的表面图像；
32.所述处理器模块13，用于采用深度卷积神经网络算法，对实时采集的木材的深度点云和表面图像进行缺陷识别。
33.本发明实施例所述的基于深度卷积神经网络的木材表面缺陷检测系统，通过安装在安装架上的激光雷达、相机实时采集传送带上木材的深度点云和表面图像；并通过处理器模块采用深度卷积神经网络算法，对实时采集的木材的深度点云和表面图像进行缺陷识别。对于木材缺陷检测，深度卷积神经网络算法不同于传统的模式识别或机器学习方法，深度卷积网络不需要积累大量的专业知识，且深度卷积网络是由简单模块的多层堆叠，每个模块都是训练学习所得，不需要人为设计特征提取算法提取特征，能够提高木材表面缺陷的检测速度。
34.在前述基于深度卷积神经网络的木材表面缺陷检测系统的具体实施方式中，进一步地，所述相机为工业电荷耦合元件(charge-coupled device，ccd)相机。
35.如图2所示，在前述基于深度卷积神经网络的木材表面缺陷检测系统的具体实施方式中，进一步地，所述系统还包括：上位机14；
36.所述处理器模块13，用于将识别结果通过通信线缆上传至上位机14；
37.所述上位机14，用于对接收到的识别结果进行展示。
38.如图3所示，本实施例中，深度卷积神经网络的结构包含但不限于：输入层—卷积层—信息融合层—池化层—全连接层这几个方面，在实际应用中，深度卷积神经网络的结构由实际情况确定。
39.本实施例中，作为一可选实施例，深度卷积神经网络的结构包括但不限于：图像输入层、深度信息输入层、与所述不同输入层连接的卷积层、与不同卷积层连接的信息混合层、与所述信息混合层连接的池化层、及所述池化层连接的结果输出层。
40.本实施例中，所述输入层，用于输入实时采集的木材的深度信息或表面图像，对于输入的每张图像，在深度方向上可以看作由很多层组成，对于其中一个层，可以对应有很多神经元，优选地，神经元的权重表现为卷积和的形式，即一个滤波器，这些神经元各自分别对应于相应图像中的某一个局部区域，提取各局部区域的特征。一个局部区域的特征可以称为一个块，如果将所有的块拉成一个个列向量，则可以得到很多这些列向量组成的局部区域数据矩阵，再将神经元的权重拉成一个个行向量，这样就得到一个权值矩阵。
41.本实施例中，作为一可选实施例，所述图像输入层，用于输入实时采集的木材的表面图像，对于输入的每张图像，在深度方向上的某个层，对应着多个神经元，每个神经元各自分别对应于相应图像中的某一个局部区域，提取各局部区域的特征，并根据提取的各局部区域的特征组成局部区域数据矩阵，同时将神经元的权重组成权值矩阵；
42.所述输入层，还用于将所述局部区域数据矩阵和权值矩阵输出至所述卷积层。
43.本实施例中，作为一可选实施例，所述深度信息输入层，用于输入实时采集的木材的激光雷达点云，对于输入的每张点云，在深度方向上的某个层，对应着多个神经元，每个神经元各自分别对应于相应点云中的某一种形状特征，提取各局部区域的特征，并根据提取的各局部区域的特征组成全局的数据矩阵，同时将神经元的权重组成权值矩阵。
44.本实施例中，例如，可以选取一个n维权值矩阵，该n维权值矩阵按照一定步长值滑动，对局部区域数据矩阵进行点积运算，得到了相应局部区域的特征激活值；其实就是将所有的滤波器和所有的局部区域的特征分别进行点积运算，当然点积运算结果还需要重新重塑到期望的输出尺寸，通过卷积层的点积运算达到提取图像各局部区域的特征激活值的目的。
45.本实施例中，卷积层完成了对输入层输入的图像的每个局部区域的点积运算即卷积，其中，得到的各局部区域的特征激活值为特征激活值矩阵。
46.自然图像有其固有特性，图像的一部分的统计特性与其他部分是一样的。在这一部分学习的特征也能用在另一部分上，所以对于这个图像上的所有位置，使用同样的学习特征。当从一个大尺寸图像(即：输入层输入的实时采集的木材的表面图像)中随机选取一小块(即：局部区域)，例如，8x8作为样本，并且从这个小块样本中学习到了一些特征，这时可以把从这个8x8样本中学习到的特征作为探测器，应用到这个大尺寸图像的任意地方中去。特别是，可以用从8x8样本中所学习到的特征跟原本的大尺寸图像作卷积，从而对这个大尺寸图像上的任一位置获得一个不同的特征激活值。
47.本实施例中，特征激活值是针对图像的特征而来的，对于一张输入的图像而言具有其固有特性，通过卷积计算得到的结果相当于人为将图像中的特征进行了量化，用特征激活值表征图像的特征。
48.本实施例中，作为一可选实施例，所述卷积层，用于将所述输入层输出的所述局部区域数据矩阵和权值矩阵进行点积运算，得到图像各局部区域的特征激活值，其中，得到的各局部区域的特征激活值为特征激活值矩阵；
49.所述卷积层，还用于将得到的特征激活值矩阵输出至所述池化层。
50.所述卷积层得到的特征激活值具有“静态性”的属性，即在一个局部区域有用的特征激活值极有可能在另一个局部区域同样适用。因此对不同局部区域的特征激活值进行聚合统计可以实现各像素点的分类。
51.本实施例中，在通过所述卷积层获得了特征激活值之后，需要利用这些特征激活值做分类，此时，要用到池化层。在池化层的处理中，可以选取m维权值矩阵对接收到特征激活值矩阵进行每个局部区域的平均值或最大值求解，得出能够代表相应局部区域的特征值，其中，所述特征值为：求解后得到的映射到隐藏空间的平均值或最大值，将这些代表局部区域的特征值作为后续分类的依据(此处的局部区域在卷积层卷积结果上来说是特征激活值矩阵中的一个子集，空间映射到图像上则代表了图像上相应的局部区域)。
52.选择输入层输入的图像和深度信息(但实际上，是指卷积层对图像或深度信息进行处理后所得到的特征激活值矩阵，因为特征激活值与图像或深度信息的特征存在着某种对应关系，所以此处直接说了图像或深度信息)中的连续范围作为池化区域，并且池化相同/重复的隐藏空间(隐藏空间就是在处理过程中每次点积/卷积的结果，卷积层可以不止
一层)产生的特征激活值，那么，这些池化单元就具有平移不变性。这就意味着即使图像经历了一个小的平移之后，依然会产生相同的(池化)特征。这样一来不论像素最终的位置在哪里，分类时仍然能够精确地将其分类为相同的数字。
53.本实施例中，作为一可选实施例，所述池化层，用于选取m维权值矩阵对接收到特征激活值矩阵进行每个局部区域的平均值或最大值求解，得出代表相应局部区域的特征值，其中，所述特征值为：求解后得到的映射到隐藏空间的平均值或最大值。
54.在前述基于深度卷积神经网络的木材表面缺陷检测系统的具体实施方式中，进一步地，所述结果输出层，用于将所述结果输出层映射到隐藏空间的特征值进行分类。
55.在本实施例中，所述结果输出层，前9层的每个像素点位的最大值所在层代表该像素点的类别，后5层代表缺陷的位置和置信度。
56.以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。