一种基于迁移学习的木材纹理分类方法与流程

1.本发明涉及深度学习、计算机视觉技术、木材纹理检测方法交叉技术领域，特别涉及一种基于迁移学习的木材纹理分类方法。


背景技术：

2.传统的木材纹理进行分类主要依靠工人经验，主观性强，效率低。因此亟需引入自动化手段实现木材纹理的高效、准确分类。目前还没有利用深度学习对木材纹理进行识别分类的研究，本专利介绍了一种基于深度学习卷积神经网络的木材纹理识别分类方法，由于木材纹理中没有严格定义各类别的分类标准，因此在划分数据集和训练卷积模型参数时有着巨大的挑战。
3.基于深度学习的卷积神经网络模型可以自动提取高阶特征,实现对高相似度图像的准确分类，然而，卷积神经网络参数极多，若从头开始训练，训练时间长、算力消耗大、且需要大量带标签数据，这为深度学习模型的实施带来了限制。因此实现准确鉴别的同时节约时间和人力成本，是非常有学术和工程价值的问题。


技术实现要素：

4.本发明提供一种基于迁移学习的木材纹理分类方法，分类准确，节约时间和人力成本。
5.本发明提供了一种基于迁移学习的木材纹理分类方法，包括以下步骤：
6.s1、采集带有木材纹理的图像数据，并对图像数据进行预处理；
7.s2、对预处理后的图像数据进行特征截取处理，获得样本数据集；
8.s3、将样本数据集中的图像数据进行数据增强后划分为训练样本数据集和测试样本数据集；
9.s4、构建用于木材纹理判断的迁移学习模型，用训练样本数据集对迁移学习模型进行训练，得到识别木材纹理类别的卷积模型包；
10.s5、用测试样本数据集对训练好的迁移学习模型进行识别准确度计算，得到迁移学习模型的识别准确度；
11.s6、将卷积模型包中多个卷积模型的参数以优化计算时间的方法进行组合，获得用于木材纹理分类的算法；
12.s7、将带有木材纹理的图像数据输入木材纹理分类的算法中，得到木材纹理的分类结果。
13.进一步地，所述步骤s1中对图像数据进行预处理的方法为：
14.对采集的图像数据进行背景去除，使采集的图像数据中只保留纯木材图像数据；
15.对采集的图像数据提取木材纹理部分作为视野区域，将提取的视野区域作为数据库图像；
16.将图像数据中有缺陷的样本进行剔除。
17.进一步地，所述步骤s2中特征截取处理的方法为：将木材图像数据中木材纹理特征明显的区域进行裁剪，获取样本数据集。
18.进一步地，所述步骤s3中的样本数据集包括无纹理、山纹理和直纹理三种图像数据。
19.进一步地，所述步骤s3通过对样本数据集中的图像数据采用旋转、翻转和缩放进行数据增强，获得训练样本数据集和测试样本数据集。
20.进一步地，所述旋转包括：30
°
旋转和
‑
30
°
旋转；所述翻转包括随机水平翻转和随机竖直翻转；所述缩放为1：2缩放，对样本数据集中的图像数据进行处理并保存副本，从而使数据规模扩大到原来的6倍。
21.进一步地，所述步骤s3中训练样本数据集和测试样本数据集的比例为7:3。
22.进一步地，所述步骤s4中构得到识别木材纹理类别的卷积模型包的方法为：
23.构建vgg
‑
19木材纹理判断的迁移学习模型；
24.用训练样本数据集对vgg
‑
19木材纹理判断的迁移学习模型进行训练，训练参数设置：选择用小批量梯度下降优化算法，选用multinomial logistic regression损失函数；
25.训练得到用于木材纹理判断的卷积模型包；
26.卷积模型包包括：cnn319纹理识别主模型、cnswz2特征值计算模型、cnswz3特征值计算模型和cn435纹理修正模型，其中cnn319纹理识别主模型是用于识别纹理种类的，cnswz2特征值计算模型、cnswz3特征值计算模型和cn435纹理修正模型是用于对cnn319纹理识别主模型识别结果进行验证与修正。
27.进一步地，所述步骤s5中识别准确度的计算公式为：
[0028][0029]
其中，t表示该模型识别木材纹理的正确率，c为木材纹理判断的正确个数，s为木材纹理样本总数。
[0030]
进一步地，所述步骤s6中用于木材纹理分类的算法为：
[0031]
若卷积模型cnn319对木材纹理识别结果为山纹理“2”时，且判断卷积模型cnswz3对该图像运算所得的特征值大于某个阈值时，则用卷积模型cn435的识别结果比对卷积模型cnn319对该图像的识别结果；若不一致，即以卷积模型cn435的识别结果为最终识别结果，并输出对应识别结果的特征标码；
[0032]
若卷积模型cnn319对木材纹理识别结果为无纹理“5”时，且判断卷积模型cnswz2对该图像运算所得的特征值不大于某个阈值时，即判定当前木材为无纹理，并分为无纹理类同时输出分类特征标码无纹理“5”；
[0033]
若卷积模型cnn319对木材纹理分类标码为直纹理“6”时，即判定当前木材为直纹理并分为直纹理类，同时输出分类特征标码直纹理“6”；
[0034]
若卷积模型cnn319对木材纹理识别结果为山纹理“7”时，且判断卷积模型cnswz2对该图像运算所得的特征值不大于某个阈值时，则用卷积模型cn435的识别结果比对卷积模型cnn319对该图像的识别结果，若不一致，即以卷积模型cn435模型识别结果为最终识别结果并输出对应识别结果的特征标码。
[0035]
与现有技术相比，本发明的有益效果在于：
[0036]
本发明涉及深度学习、计算机视觉技术、木材纹理检测方法交叉技术领域，公开了一种基于迁移学习的木材纹理分类方法，通过获取木材图像数据并进行预处理得到训练数据；构建用于识别木材纹理类别的迁移学习模型；利用预训练的卷积模型进行训练后得到识别木材纹理类别的卷积模型；根据实际生产中的环境，以优化计算时间的方法将各模型计算所得的特征值与识别结果进行判断而得到最终的分类，本发明是根据实际生产情况所设计的，在可靠性、实用性方面均为良好，且在生产中能实现木材纹理的自动化分类，分类准确，节约时间和人力成本。
附图说明
[0037]
图1为本发明的分类方法流程示意图。
[0038]
图2为本发明最终判断木材纹理类型的逻辑流程图。
[0039]
图3为本发明分类为无纹理类型的样本示意图。
[0040]
图4为本发明分类为直纹理类型的样本示意图。
[0041]
图5为本发明分类为山纹理类型的样本示意图。
[0042]
图6为迁移学习模型结构示意图。
[0043]
图7为训练验证准确度曲线图。
[0044]
图8为损失函数曲线图。
具体实施方式
[0045]
下面结合附图1
‑
8，对本发明的一个具体实施方式进行详细描述，但应当理解本发明的保护范围并不受具体实施方式的限制。
[0046]
以下是对本发明给出具体实例做出进一步的说明，在实例中的木材是实际工厂中的橡胶木。
[0047]
本发明提出了一种基于迁移学习的木材纹理检测方法，该方法通过识别卷积神经网络模型来识别木材图像的纹理根据识别结果来综合判断木材纹理的类别。
[0048]
该方法包括以下步骤：
[0049]
步骤1.采集图像数据，并对采集的图像进行预处理，减少干扰；
[0050]
步骤2.将步骤1中预处理后的图像数据按照要求进行特征截取处理；
[0051]
步骤3.将步骤2中得到的图像数据，按照特征分为三类，主要分为无纹理木材图像数据样本集、山纹理木材图像数据样本集和直纹理木材图像数据样本集，按照7：3的比例划分为训练样本数据集和测试样本数据集；
[0052]
步骤4.构建用于木材纹理判断的迁移学习模型，利用步骤3得到的训练样本数据对模型进行训练，得到迁移学习模型的参数；
[0053]
步骤5.将步骤3得到的测试样本数据集输入到步骤4训练好的迁移学习模型中，对迁移学习模型进行识别准确度的计算，得到该模型识别准确度；
[0054]
步骤6.按照步骤1至步骤5的顺序，重复操作，得到用于识别木材纹理的迁移学习子模型；
[0055]
步骤7.将各个训练后得到的迁移学习模型按照一定逻辑进行组合，得到用于木材纹理分类的算法；
[0056]
步骤8.将带有木材纹理图像数据输入步骤7得到的算法中，得到木材纹理分类结果。
[0057]
步骤1中，图像预处理主要操作是：对采集的图像数据进行背景的去除，让采集的图像数据中只保留纯木材图像数据，并且将图像数据中有缺陷的样本进行剔除。
[0058]
步骤1中，采用分辨率为1920
×
1080的工业相机进行图片拍摄采集并将采集所得图像以.jpg格式进行保存。图像预处理主要操作是：对所述图片提取木材纹理部分作为视野区域，将提取的视野区域作为数据库图像；对训练集中的图像采用旋转、翻转、缩放等操作进行数据增强，使数据集规模扩充为原来的6倍，其中数据增强的操作具体包括：30
°
旋转、
‑
30
°
旋转、随机水平翻转、随机竖直翻转、1：2缩放，对样本数据集中每张图像进行处理并保存副本，从而使数据规模扩大到原来的6倍。
[0059]
步骤2中，将木材图像中木材纹理特征明显的区域进行裁剪，作为特征截取处理后的样本数据。
[0060]
步骤3中，所述样本集分类方式为：按图形学将采集的木材样本图像数据细分为三个子类：无纹理、直纹理、山纹理。选取定义好的三种纹理，分别是无纹理、山纹理、直纹理三类作为训练样本，以7：3的比例分为训练样本集和验证样本集，将每一种纹理的训练样本集输入到迁移学习模型中进行训练。
[0061]
步骤4中，构建vgg
‑
19木材纹理判断模型，选择用小批量梯度下降优化算法，其中minibatchsize设置为10，梯度估计修正选择sgdm,学习率设置为0.001，采用的优化方法为随机梯度下降法；选用multinomial logistic regression损失函数，最终得到用于判断纹理的四个卷积模型，其中主模型“cnn319”模型是用于识别纹理种类的，另外三个子模型“cnswz2,cnswz3,cn435”是用于主模型识别结果的验证与修正。
[0062]
迁移学习模型结构参数如表1所示：
[0063]
表1迁移学习模型结构参数
[0064]
[0065][0066]
步骤5中，对模型进行纹理分类测试,将步骤3中的测试集输入到步骤4训练好的模型中进行测试，用于测试模型精度，经过模型分类后，对测试样本进行计算识别正确率。进一步的，所述正确率所采用的公式为：
[0067][0068]
其中，t表示该模型识别木材纹理的正确率，c为木材纹理判断的正确个数，s为木材纹理样本总数。
[0069]
使用步骤1至步骤5再次训练不同功能的卷积神经网络模型并用于木材纹理分类，具体如下：
[0070]
训练的模型包括：cnn319纹理识别主模型、cnswz2特征值计算模型、cnswz3特征值计算模型、cn435纹理修正模型。使用cnn319模型对测试集木材纹理图像数据进行纹理分类，并记录该模型分类结果。使用cnswz2模型对测试集木材纹理图像数据进行运算，运算后获取卷积层中“softmax”层的系数进行四舍五入作为该模型运算后所得的特征值。使用
cnswz3模型对测试集木材纹理图像数据进行运算，运算后获取卷积层中“softmax”层的系数进行四舍五入作为该模型运算后所得的特征值。使用cn435模型对测试集木材纹理图像数据进行纹理分类，并比对cnn319模型识别结果再综合cnswz2、cnswz3运算后所得的特征值进行识别结果的验证与修正。
[0071]
步骤7中，将训练得到的各模型以优化计算时间的方法进行组合，得到一整套用于判断木材纹理种类的算法，若卷积模型cnn319对木材纹理分类标码为无纹理“5”时，则判断卷积模型cnswz2、cn435对该图像计算所得的特征值不大于某个阈值，即判定当前木材为无纹理，即分为无纹理类。若卷积模型cnn319对木材纹理分类标码为直纹理“6”时，即判定当前木材为直纹理，即分为直纹理类。若卷积模型cnn319对木材纹理分类标码为山纹理“7”时，则判断卷积模型cnswz2、cn435对该图像计算所得的特征值不大于某个阈值，即判定当前木材为山纹理，即分为山纹理类。
[0072]
步骤8中，将带有木材纹理图像数据输入步骤7得到的算法中，得到木材纹理分类结果，并计算算法整体精度。
[0073]
本发明实施例的图像数据是利用普通相机采集的木材图像数据，像素大概在二百万左右。利用该相机先采集共1999张样本数据，图像数据都是带有背景色的rgb图片。首先，将带有背景的样本图像数据进行背景色的去除，自动裁剪只保留木材的样本图像数据。将不带有背景色的图像数据进行纹理类型的分类，主要分为三个类型，因此需要给出相对应的训练集和测试集。卷积模型有四个，分别是cnn319、cnswz2、cnswz3、cn435。具体实例步骤如下：
[0074]
本发明的检测方法流程示意图如图1所示：本发明提供基于迁移学习的木材纹理检测方法，包括如下步骤：
[0075]
采用分辨率为1920
×
1080的工业相机进行图片拍摄采集并将采集所得图像以.jpg格式进行保存。图像预处理主要操作是：对所述图片提取木材纹理部分作为视野区域，将提取的视野区域作为数据库图像；
[0076]
1.将木材图像中木材纹理特征明显的区域进行裁剪，作为特征截取处理后的木材纹理样本数据。
[0077]
2.所述样本集分类方式为：按图形学将采集的木材样本图像数据细分为三个子类：无纹理、直纹理、山纹理。以7：3的比例分为训练样本集和验证样本集，将每一种纹理的训练样本集输入到迁移学习模型中进行训练。按图形学以肉眼的观察特征将数据库图像细分为三个子类：无纹理，直纹理，山纹理。将具有相同纹理的归为同一个样本集，并且按照要求将图像数据的像素进行统一标准化。
[0078]
3.对训练集中的图像采用旋转、翻转、缩放等操作进行数据增强，使数据集规模扩充为原来的6倍，其中数据增强的操作具体包括：30
°
旋转、
‑
30
°
旋转、随机水平翻转、随机竖直翻转、1：2缩放，对训练集中每张图像进行处理并保存副本，从而使数据规模扩大到原来的6倍；
[0079]
4.使用预训练卷积神经网络vgg
‑
19，冻结模型除全连接层外所有参数，仅保留全连接层权重为可训练参数；训练时选择用小批量梯度下降优化算法，其中minibatchsize设置为10，梯度估计修正选择sgdm,学习率设置为0.001，采用的优化方法为随机梯度下降法；选用multinomial logistic regression损失函数，最终得到用于判断纹理的四个迁移学
习模型参数包，其中主模型“cnn319”模型是用于识别纹理种类的，另外三个子模型“cnswz2,cnswz3,cn435”是用于主模型识别结果的验证与修正。
[0080]
5.对模型进行纹理分类测试,将标准化的测试集木材图像数据导入训练好的模型，经过模型分类后，对测试样本进行计算识别正确率。进一步的，所述正确率所采用的公式为：
[0081][0082]
其中，t表示该模型识别木材纹理的正确率，c为木材纹理判断的正确个数，s为木材纹理样本总数。
[0083]
6.将训练得到的各个模型，分别命名为主模型“cnn319”，子模型1“cnswz2”，子模型2“cnswz3”，子模型3“cn435”。使用步骤1至步骤5再次训练不同功能的卷积神经网络模型并用于木材纹理分类，具体如下：训练的模型包括：cnn319纹理识别主模型、cnswz2特征值计算模型、cnswz3特征值计算模型、cn435修正模型。使用cnn319模型对测试集木材纹理图像数据进行纹理识别，并记录该模型的识别结果。使用cnswz2模型对测试集木材纹理图像数据进行运算，运算后获取卷积层中“softmax”层的系数进行四舍五入作为该模型运算后所得的特征值。使用cnswz3模型对测试集木材纹理图像数据进行运算，运算后获取卷积层中“softmax”层的系数进行四舍五入作为该模型运算后所得的特征值。使用cn435模型对测试集木材纹理图像数据进行纹理识别，将识别后得到的结果比对cnn319模型识别结果再综合cnswz2、cnswz3所获取的特征值进行识别结果的验证与修正；
[0084]
7.将训练得到的各模型参数以优化计算时间的方法进行组合，得到一整套用于判断木材纹理种类的算法。若卷积模型cnn319对木材纹理识别结果为山纹理“2”时，则判断卷积模型cnswz3对该图像运算所得的特征值大于某个阈值时，则用cn435识别结果比对cnn319对该图像的识别结果；若不一致，即以cn435模型识别结果为最终识别结果并输出对应识别结果的特征标码(此处输出类别可能为：无纹理、直纹理)；若卷积模型cnn319对木材纹理识别结果为无纹理“5”时，则判断卷积模型cnswz2对该图像运算所得的特征值不大于某个阈值时，即判定当前木材为无纹理，并分为无纹理类同时输出分类特征标码无纹理“5”；若卷积模型cnn319对木材纹理分类标码为直纹理“6”时，即判定当前木材为直纹理并分为直纹理类同时输出分类特征标码直纹理“6”；若卷积模型cnn319对木材纹理识别结果为山纹理“7”时，则判断卷积模型cnswz2对该图像运算所得的特征值不大于某个阈值时，则用cn435识别结果比对cnn319对该图像的识别结果，若不一致，即以cn435模型识别结果为最终识别结果并输出对应识别结果的特征标码。(此处输出类别可能为：山纹理和树结类)，具体逻辑流程图附录中见图2。
[0085]
实施例：选取橡胶木图像样本，剔除含有缺陷的图像样本将未被剔除的图像样本作为木材实验样本，采集的纹理样本数据含无纹理样本数据、含直纹理样本数据、含山纹理样本，样本数据一共1999张。其中无纹理134张，错误3张，分类准确率为97.7％；直纹理1084张，错误36张，分类准确率为96.6％；山纹理781张，错误27张，分类准确率为96.5％。
[0086]
本发明公开了一种基于迁移学习的木材纹理分类方法，通过获取木材图像数据并进行预处理得到训练数据；构建用于识别木材纹理类别的迁移学习模型；利用预训练的卷积模型进行训练后得到识别木材纹理类别的卷积模型；根据实际生产中的环境，以优化计
算时间的方法将各模型计算所得的特征值与识别结果进行判断而得到最终的分类模型，本发明是根据实际生产情况所设计的，在可靠性、实用性方面均为良好，且在生产中能实现木材纹理的自动化分类，分类准确，节约时间和人力成本。
[0087]
以上公开的仅为本发明的几个具体实施例，但是，本发明实施例并非局限于此，任何本领域的技术人员能思之的变化都应落入本发明的保护范围。