一种基于深度学习的RGB与高光谱的烟草识别方法与流程

一种基于深度学习的rgb与高光谱的烟草识别方法
技术领域
1.本发明属于分类与深度学习技术领域，具体涉及一种基于深度学习的rgb与高光谱的烟草识别方法。


背景技术：

2.我国是全世界最大的烟草生产国与消费国，全球35％的烟草产出和32％的烟草销售均在我国。烟草行业飞速发展，所带来的经济效益也在提高，连续多年纳税额超过万亿，但在烟草的生产过程中混杂了各种各样的杂质，如果清理不彻底，就会随着加工环节进入卷烟中，必定会影响生产出来的烟草质量。目前，深度学习解决烟草中含有杂质的一个有效办法。但是现有的技术在利用rgb图像的处理，对颜色相近的杂质或是透明的薄膜是无法通过rgb图像进行分类识别出来的，现有技术中在利用光谱领域来解决，但是数据处理存在一定的冗余，并且做深度学习的处理时间较长，性能过剩，同时深度学习需要大量的有效标签化的数据，这便成为只用光谱领域来解决的阻碍，因此烟草中杂质的清除对烟草产业来说是一个亟待解决的技术难题。


技术实现要素：

3.本发明解决的技术问题：提供一种通过神经网络利用对rgb图像的深度学习和利用高光谱的特征训练，实现对目标中的烟草进行识别，对烟草中混杂的杂质进行剔除，从而获得无杂质的烟草，提升生产质量的基于深度学习的rgb与高光谱的烟草识别方法。
4.技术方案：为了解决上述技术问题，本发明采用的技术方案如下：
5.一种基于深度学习的rgb与高光谱的烟草识别方法，1)利用rgb彩色图像的对数系数阈值空间向量分割和圈选标记获得物料分类标签，将图像中的与烟草颜色差别明显的其他物质区别出来；2)训练过程中，首先使用深度学习对rgb图像进行物质分类器训练，其次，对rgb颜色相近无法识别的区域，结合高光谱成像，将获取的相应的高光谱图像进行数据的校正和降噪，针对色彩相近区域利用高光谱差值矩阵法，构建光谱特征f通道，对rgb中的相近色块使用深度学习结合f通道数据再次训练神经网络，实现进行二次识别；3)分选过程中，分类器先根据rgb色彩通道信息和高光谱图像，生成相应的光谱分类特征f通道，同时使用这两类数据生成最终的分类结果，做到对烟草图像中颜色相近处能够识别出烟草部分。
6.具体包括以下步骤：
7.步骤1，获取烟丝的彩色图像和高光谱图像；
8.步骤2：对彩色图像增强处理，扩大图像数据的数据量得到图像样本库，并对其随机分成训练集和测试集；
9.步骤3：将对应rgb图像进行分割，运用对数系数阈值空间向量分割法，对应rgb图像的3个通道，对每个像素点采取一个相似度量；
10.步骤4：采用圈选对rgb图像中的特征进行标记，通过rgb图像的标记对应产生f通道的标记；
11.步骤5：添加特征标签后，将rgb图像数据随机性的打乱并将分类标签转化为独热编码，生成便于神经网络进行训练和测试的标签数据；
12.步骤6：对获得的高光谱数据进行校正与降噪；
13.步骤7，利用高光谱差值矩阵法，构建光谱特征f通道，对rgb中的相近色块使用深度学习结合f通道数据进行二次识别。
14.作为优选，步骤3中，若像素点o和像素点k之间的差值小于指定的对数系数阈值t，则像素点o相似于像素点k；
15.d(o，k)＝l
·
||o-k||
16.＝l
·
[(o-k)
t
(o-k)]
1/2
[0017]
＝l
·
[(o
r-kr)2 (o
g-kg)2 (o
b-kb)2]
1/2
[0018]
l＝||log((or og ob)/3))-log((kr kg kb)/3))||；
[0019]
式中：d表示像素点o与像素点k两点间的对数系数差值，
[0020]
l表示为像素点o与像素点k两点间的对数系数。
[0021]
作为优选，步骤3结束后，通过神经网络进行训练和测试，如果能够完全识别，则结束判别流程，如果不能完全识别则继续进行步骤6。
[0022]
作为优选，对获得的高光谱数据进行校正与降噪，方法如下：
[0023]
为提高信噪比，校正原始图像i，通过标准白色校正板得到的纯白标定图像t；根据校正板反射率得到日照影响系数k；然后得到纯黑的标定图像b，对其数据做均值化处理，在t，b方向利用如下公式到和
[0024][0025]
其中，表示纯白标定图像后的光谱数据均值，表示纯黑标定图像后的光谱数据均值，ii表示图像中当前像素点的光谱数据，n表示所取的像素点数量，
[0026]
然后根据如下公式计算得到校正后的图像r，后利用萨维茨基—戈莱平滑滤波对数据进行拟合平滑得到平滑的数据，实现对高光谱数据的校正和降噪，
[0027][0028]
作为优选，利用高光谱差值矩阵法，构建光谱特征f通道，对rgb中的相近色块使用深度学习结合f通道数据进行二次识别的具体方法如下：
[0029]
步骤71:选取无法识别的区域，无法识别区域的每个像素点c
ij
对应的高光谱所有谱段的波长b
ij
，用特征目标的波长b
fm
与其b
ij
做差值，得到b
dij
；
[0030]
步骤72:对步骤71中得到的每个像素点的光谱波长差值b
dij
，取其中最大的值max(b
dij
)；
[0031]
步骤73:重复步骤71、72将图像中所有无法识别的颜色相近区域遍历，对每个无法识别的区域的max(b
dij
)，做均值化处理；然后得到关于rgb图像对应的光谱差值矩阵bf；
[0032]
[0033]bf
＝||b
fm-b
mij
||
[0034]
式中，b
mij
表示为均值处理后得到的对应像素点的波长差值。n表示为无法识别区域的像素点个数。
[0035]
步骤74:将步骤73形成的差值矩阵bf作为一个通道，为f通道，再把相对应的rgb图像3个通道与f通道进行合并，生成一个关于烟草的4通道的融合特征图像。
[0036]
步骤75:将步骤74中rgb分类的结果中效果不佳的区域对应的f通道的标记筛选出来，将标记的f通道数据转化为独热编码，随机打乱放入神经网络中进行再次训练。
[0037]
有益效果：与现有技术相比，本发明具有以下优点：
[0038]
(1)本发明的基于深度学习的rgb与高光谱的烟草识别方法，通过获取烟草彩色图像和高光谱数据构建数据库，进而通过烟草识别分析仪训练该模型，该模型能够实现对于彩色相机无法识别的颜色相近的杂质，通过光谱数据进行识别，代替传统通过专业人员主观判断的方法，此方法减少人为因素干扰，提高效率，能够实现实时监控筛选，避免人员主观与长时间工作带来的影响，提升烟草的纯净度。对烟草行业具有十分重要的意义。
[0039]
(2)本发明采用光谱数据差值矩阵将所有谱段的光谱数据按特征目标整合为一个f通道，该方法大大减少了数据量，避免了冗余的数据的干扰，同时也加强颜色相近杂质的区别，烟草的识别效果也得以提高。
[0040]
(3)本发明采用的阈值空间向量分割法，将增加在rgb颜色十分相近区域的阈值的区分度，从而增强该区域的数据信息，提升烟草的识别算法效果；
[0041]
(4)按特征目标将光谱图像分成对应的数据，对与rgb相同的杂质的波长进行与特征目标的光谱波长进行差值计算，减少了大量的无用数据，节省二次训练的时间，同时也对无法识别的区域信息增强，提升了算法的准确性。
附图说明
[0042]
图1是本发明的识别方法流程图；
[0043]
图2为本发明的阈值空间向量分割法示意图；
[0044]
图3为本发明的rgb图像添加标签的过程图；
[0045]
图4为本发明在特定谱段的高光谱图。
具体实施方式
[0046]
下面结合具体实施例，进一步阐明本发明，实施例在以本发明技术方案为前提下进行实施，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围。
[0047]
如图1所示，1)首先利用rgb彩色图像的对数系数阈值空间向量分割和圈选标记获得物料分类标签，将图像中的与烟草颜色差别明显的其他物质区别出来；2)训练过程中，首先使用深度学习对rgb图像进行物质分类器训练，其次，对rgb颜色相近无法识别的区域，再结合高光谱成像，将获取的相应的高光谱图像进行数据的校正和降噪，针对色彩相近区域进行特殊优化，利用自主设计的高光谱差值矩阵法，构建光谱特征f通道，对rgb中的相近色块使用深度学习结合f通道数据再次训练神经网络，进行二次识别，确保能够分选相似色彩，避免相近色彩物体的漏检；3)分选过程中，分类器先根据rgb色彩通道信息和高光谱图像，生成相应的光谱分类特征f通道，同时使用这两类数据生成最终的分类结果，做到对烟
草图像中颜色相近处能够识别出烟草部分。
[0048]
具体实现步骤如下：
[0049]
步骤1，获取烟丝的彩色图像和高光谱图像；
[0050]
利用basler beat系列的彩色相机来获取彩色图像，利用国产高光谱相机figspec的fs系列高光谱相机来获取高光谱图像。本实施中，采集的烟草的rgb图像，分辨率为3000*4000，拍摄有效照片数量为200张，获取的高光谱图像为在400-1000nm的反射图像。并以5nm为一谱段，共采集120谱段的数据。
[0051]
步骤2：对彩色图像增强处理，扩大图像数据的数据量得到图像样本库，并对其随机分成训练集和测试集，按4∶1的比例进行训练集和测试集分配。
[0052]
步骤3：将对应rgb图像进行分割，运用对数系数阈值空间向量分割法，对应rgb图像的3个通道，对每个像素点采取一个相似度量。若像素点o和像素点k之间的差值小于指定的对数系数阈值t，则像素点o相似于像素点k。在颜色越相近的区域阈值的区别会增大从而便于区分。
[0053]
d(o，k)＝l
·
||o-k||
[0054]
＝l
·
[(o-k)
t
(o-k)]
1/2
[0055]
＝l
·
[(o
r-kr)2 (o
g-kg)2 (o
b-kb)2]
1/2
[0056]
l＝||log((or og ob)/3))-log((kr kg kb)/3))||；
[0057]
步骤4：采用圈选对rgb图像中的特征进行标记，通过rgb图像的标记对应产生f通道的标记；
[0058]
步骤5：添加特征标签后，将rgb图像数据随机性的打乱并将分类标签转化为独热编码，生成便于神经网络进行训练和测试的标签数据。随后通过神经网络进行训练和测试，如果能够完全识别，则结束判别流程，如果不能完全识别则继续进行步骤6。
[0059]
步骤6：对获得的高光谱数据进行校正与降噪，过程如下：
[0060]
为提高信噪比，校正原始图像/，扫面通过标准白色校正板得到的纯白标定图像t；根据校正板反射率得到日照影响系数k；然后得到纯黑的标定图像b。对其数据做均值化处理，在t，b方向利用如下公式得到和
[0061][0062]
其中，表示纯白标定图像后的光谱数据均值，表示纯黑标定图像后的光谱数据均值，ii表示图像中当前像素点的光谱数据，n表示所取的像素点数量。
[0063]
然后根据如下公式计算得到校正后的图像r，后利用萨维茨基—戈莱平滑(sg)滤波对数据进行拟合平滑得到平滑的数据，实现对高光谱数据的校正和降噪，便于后续的训练；
[0064][0065]
步骤7，对rgb无法识别的颜色相近区域，利用高光谱差值矩阵法，构建光谱特征f通道，对rgb中的相近色块使用深度学习结合f通道数据进行二次识别。具体步骤如下：
[0066]
步骤71:选取无法识别的区域，无法识别区域的每个像素点c
ij
对应的高光谱所有
谱段的波长b
ij
，用特征目标的波长b
fm
与其b
ij
做差值，得到b
dij
；
[0067]
步骤72:对步骤71中得到的每个像素点的光谱波长差值b
dij
，取其中最大的值max(b
dij
)；
[0068]
步骤73:重复步骤71、72将图像中所有无法识别的颜色相近区域遍历，对每个无法识别的区域的max(b
dij
)，做均值化处理；然后得到关于rgb图像对应的光谱差值矩阵bf；
[0069][0070]bf
＝||b
fm-b
mij
||
[0071]
式中，b
mij
表示为均值处理后得到的对应像素点的波长差值，n表示为无法识别区域的像素点个数。
[0072]
步骤74:将步骤73形成的差值矩阵bf作为一个通道，为f通道，再把相对应的rgb图像3个通道与f通道进行合并，生成一个关于烟草的4通道的融合特征图像。
[0073]
步骤75:将步骤74中rgb分类的结果中效果不佳的区域对应的f通道的标记筛选出来，将标记的f通道数据转化为独热编码，随机打乱放入神经网络中进行再次训练。
[0074]
本发明利用圈选后的rgb烟草图像，在神经网络训练后，在对rgb三通道数值相近无法区别的区域，将对应的高光谱f通道放入神经网络进行再次训练。本发明将高光谱与rgb结合，对于传统rgb相机无法识别的颜色相近或透明的杂质做出优化，通过采集在400-1000nm的高光谱数据，从而判断出烟草中的不同于烟草光谱特性的物质。
[0075]
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。