一种基于图谱信号的茶叶种类识别方法和装置

1.本发明涉及无损检测和图像处理领域，具体而言，涉及一种基于图谱信号的茶叶种类识别方法和装置。


背景技术：

2.传统通过视觉识别茶叶种类的方法，耗时耗力，检测结果主观性强、差错率高。近年来，光谱无损检测技术在茶叶品种鉴别中被广泛应用，而随着检测需求的不断变化，高光谱图像技术因其同时具有图像和光谱信息的显著优势也日益受到国内外众多学者的关注。目前，多采用提取茶叶高光谱感兴趣区域的光谱曲线的进行茶叶种类识别，但是有些茶叶光谱曲线会出现重叠状况，造成错检的情况。


技术实现要素：

3.本发明是为了解决上述现有技术存在的不足之处，提出一种基于图谱信号的茶叶种类识别方法和装置，以期能充分利用茶叶样本的光谱信息和图像信息，从而能够有效提升茶叶种类的识别精度。
4.为达到上述发明目的，本发明采用如下技术方案：
5.本发明一种基于图谱信号的茶叶种类识别方法的特点包括：
6.步骤1、通过高光谱仪器采集不同种类茶叶样本的高光谱图像；
7.步骤2、对茶叶样本的高光谱图像进行黑白板校正预处理，得到校正后的茶叶样本高光谱图像；
8.步骤3、提取所述校正后的茶叶样本高光谱图像中感兴趣区域的平均光谱信号和图像信号；
9.步骤4、对所述校正后的茶叶样本高光谱图像中感兴趣区域的平均光谱信号进行马尔科夫转换域编码，得到光谱编码图像；
10.步骤5、利用冗余离散小波变换对所述校正后的茶叶样本高光谱图像中感兴趣区域的图像信号进行一级分解，得到四个子带图像，并从中选取有效信息最多的三个子带图像并相应作为r、g、b通道图像，从而得到小波组合图像；
11.步骤6、利用3个1
×
1的卷积核对所述光谱编码图像和小波组合图像进行融合，得到融合图像，基于对融合图像对alexnet模型进行训练，得到训练后的茶叶种类识别模型，用于输出茶叶种类的识别结果。
12.本发明所述的一种基于图谱信号的茶叶种类识别方法的特点也在于，所述步骤2，包括：
13.步骤2.1、在高光谱仪器调试正常的条件下，获取标准白板的漫反射图像，得到白板图像；
14.步骤2.2、用盖子盖住高光谱仪器的相机镜头，并关掉内部电源，获取全黑的标定图像，得到黑板图像；
15.步骤2.3、求解所述茶叶样本的高光谱图像与黑板图像之间的差值以及所述白板图像与黑板图像之间的差值，并将两种差值的比值作为校正后的茶叶高光谱图像。
16.所述步骤4，包括：
17.步骤4.1、去掉所述校正后的茶叶样本高光谱图像中感兴趣区域的平均光谱信号的首、尾噪声波段，得到包括n个波段的茶叶样本去噪光谱信号；
18.步骤4.2、将茶叶样本去噪光谱信号的光谱值范围等分为q份，从而得到q个子值域；
19.步骤4.3、统计茶叶样本每个波段的光谱值所在子值域到下一个波段的光谱值所在子值域之间子值域的跳动变化规律，从而得到维度为q
×
q的马尔可夫概率转换矩阵mtm；
20.步骤4.4、根据第i个波段到第j个波段分别所属的子值域，将其所对应的马尔可夫概率转换矩阵mtm中两种子值域跳动的概率转化值，作为马尔科夫转换域mtf中第i行和第j列的矩阵数值，从而得到维度为n
×
n的马尔可夫转换域mtf；
21.步骤4.5、根据马尔可夫转换域中的每个元素的取值，将各个元素映射到相应调色板中对应取值的索引区间，从而得到光谱编码图像。
22.所述步骤5，包括：
23.步骤5.1、所述校正后的茶叶样本高光谱图像中感兴趣区域的图像信号通过一个低通滤波器后再通过一个高通滤波器的处理，从而得到水平细节分量lh；
24.步骤5.2、所述校正后的茶叶样本高光谱图像中感兴趣区域的图像信号通过一个高通滤波器后再通过一个低通滤波器的处理，从而得到垂直细节分量hl；
25.步骤5.3、所述校正后的茶叶样本高光谱图像中感兴趣区域的图像信号通过两个高通滤波器的处理后，得到对角线细节分量hh；
26.步骤5.4、所述校正后的茶叶样本高光谱图像中感兴趣区域图像信号通过两个低通滤波器的处理后，得到低频分量ll；
27.步骤5.5、从水平细节分量lh、垂直细节分量hl、对角线细节分量hh和低频分量ll中选取有效信息最多的三个小波分量，相应作为r、g、b通道图像。
28.本发明一种基于图谱信号的茶叶种类识别装置的特点在于，包括：获取单元、预处理单元、光谱编码单元、小波组合单元、识别单元，其中，
29.所述获取单元，用于通过高光谱仪器采集不同种类茶叶样本的高光谱图像，得到不同种类茶叶样本的高光谱图像；
30.所述预处理单元，用于对茶叶样本高光谱图像进行黑白板校正预处理，得到校正后的茶叶样本高光谱图像；
31.所述光谱编码单元，用于对校正后的茶叶样本高光谱图像中感兴趣区域平均光谱信号进行马尔科夫转换域编码，得到光谱编码图像；
32.所述小波组合单元，用于对校正后的茶叶样本高光谱图像中感兴趣区域图像信号进行一级冗余离散小波分解，得到四个子带图像，基于有效信息最多的三个子带图像作为rgb图像的三个通道，得到小波组合图像；
33.所述识别单元，通过1
×
1卷积融合编码图像和小波组合图像，基于融合图像，利用alexnet模型进行训练测试，得到茶叶种类的识别结果。
34.本发明所述的装置的特点也在于，所述光谱编码单元包括以下步骤：
35.去掉所述校正后的茶叶样本高光谱图像中感兴趣区域的平均光谱信号的首、尾噪声波段，得到包括n个波段的茶叶样本去噪光谱信号；
36.将茶叶样本去噪光谱信号的光谱值范围等分为q份，从而得到q个子值域；
37.统计茶叶样本每个波段的光谱值所在子值域到下一个波段的光谱值所在子值域之间子值域的跳动变化规律，从而得到维度为q
×
q的马尔可夫概率转换矩阵mtm；
38.根据第k个波段和第l个波段的光谱值分别所属的子值域，将其所对应的马尔可夫概率转换矩阵mtm中两种子值域跳动的概率转化值，作为马尔科夫转换域mtf中第k行和第l列的矩阵数值，从而得到维度为n
×
n的马尔可夫转换域mtf；
39.根据马尔可夫转换域中的每个元素的取值，将各个元素映射到相应调色板中对应取值的索引区间，从而得到光谱编码图像；
40.步骤4.5、根据马尔可夫转换域中的每个元素的取值，将各个元素映射到相应调色板中对应取值的索引区间，从而得到光谱编码图像。
41.所述小波组合单元包括以下步骤：
42.所述校正后的茶叶样本高光谱图像中感兴趣区域的图像信号通过一个低通滤波器后再通过一个高通滤波器的处理，从而得到水平细节分量lh；
43.所述校正后的茶叶样本高光谱图像中感兴趣区域的图像信号通过一个高通滤波器后再通过一个低通滤波器的处理，从而得到垂直细节分量hl；
44.所述校正后的茶叶样本高光谱图像中感兴趣区域的图像信号通过两个高通滤波器的处理后，得到对角线细节分量hh；
45.所述校正后的茶叶样本高光谱图像中感兴趣区域图像信号通过两个低通滤波器的处理后，得到低频分量ll；
46.从水平细节分量lh、垂直细节分量hl、对角线细节分量hh和低频分量ll中选取有效信息最多的三个小波分量，相应作为r、g、b通道图像。
47.与现有技术相比，本发明的有益效果在于：
48.1、本发明将茶叶样本高光谱图像中感兴趣区域的光谱信号编码为二维图像，能够放大光谱曲线细节上的差异，而且图像的颜色与纹理信息包含了更加丰富的空间信息，将茶叶样本高光谱图像中感兴趣区域的图像信号进行小波分解，并利用小波分量组合为rgb图像，小波分解可以覆盖整个频域，并通过选取合适的滤波器，可以极大的减小或去除所提取得不同特征之间的相关性，充分利用了深度学习在图像领域的优势，提升了茶叶种类的识别精度；
49.2、本发明采用高光谱技术采集茶叶样本的高光谱图像，可以同时获取茶叶样本的光谱信息和图像信息，通过构建模型对茶叶种类进行识别，相对于传统化学检测方法，不会损坏茶叶样本，相对于人工视觉识别，提高了检测效率；
50.3、本发明通过卷积神经网络融合茶叶样本的光谱编码图像和小波组合图像，通过学习茶叶样本不同的特征，可以有效结合两者的互补信息，提高了模型的泛化能力，通过卷积神经网络还可以学习两种图像的深层特征，能够进一步提升了茶叶种类的识别精度。
附图说明
51.图1为本发明一种基于图谱信号的茶叶种类识别方法流程图；
52.图2为本发明的茶叶样本的编码图像和小波组合图像；
53.图3为本发明一种基于图谱信号的茶叶种类识别装置的示意图。
具体实施方式
54.本实施例中，参照图1，一种基于图谱信号的茶叶种类识别方法是按如下步骤进行：
55.步骤1、通过高光谱仪器采集不同种类茶叶样本的高光谱图像；
56.在本实施例中，采用的是由五铃光学股份有限公司生产的his-nir-xeva高光谱成像系统，为茶叶样本完整的拍摄出来，电控置物台移动范围设置范围是140nm-260nm，该高光谱成像系统的光谱范围是908nm-1735nm，总共有508个波段，获取了红茶、绿茶、黄茶样本的高光谱图像各150个。
57.步骤2、对茶叶样本的高光谱图像进行黑白板校正预处理，得到校正后的茶叶样本高光谱图像；
58.步骤2.1、在高光谱仪器调试正常的条件下，获取标准白板的漫反射图像，得到白板图像；
59.步骤2.2、用盖子盖住高光谱仪器的相机镜头，并关掉内部电源，获取全黑的标定图像，得到黑板图像；
60.步骤2.3、求解茶叶样本的高光谱图像与黑板图像之间的差值以及白板图像与黑板图像之间的差值，并将两种差值的比值作为校正后的茶叶高光谱图像。
61.在本实施例中，为了提高检测的精度，有必要对获取的茶叶高光谱图像进行校正，因为在拍摄茶叶高光谱图像时机器硬件和人为操作等原因会导致获取的数据存在噪声。高光谱图像校正的具体公式如式(1)所示：
[0062][0063]
式(1)中，a是白板图像，b是黑板图像，n是高光谱系统采集的原始图像，r是黑白校正之后的高光谱图像。
[0064]
步骤3、提取校正后的茶叶样本高光谱图像中感兴趣区域的平均光谱信号和图像信号；
[0065]
步骤4、对茶叶样本高光谱图像中感兴趣区域的平均光谱信号进行马尔科夫转换域编码，得到光谱编码图像；
[0066]
步骤4.1、去掉茶叶样本高光谱图像中感兴趣区域的平均光谱信号的首、尾噪声波段，得到包括n个波段的茶叶样本去噪光谱信号；
[0067]
步骤4.2、将茶叶样本去噪光谱信号的光谱值范围等分为q份，从而得到q个子值域；
[0068]
步骤4.3、统计茶叶样本每个波段的光谱值所在子值域到下一个波段的光谱值所在子值域之间子值域的跳动变化规律，从而得到维度为q
×
q的马尔可夫概率转换矩阵mtm；
[0069]
步骤4.4、第i个波段和第j个波段的光谱值分别所属的子值域，对应马尔可夫概率转换矩阵mtm中两种子值域跳动的概率转化值，作为马尔科夫转换域mtf第i行和第j列的矩阵数值，从而得到维度为n
×
n的马尔可夫转换域mtf；
[0070]
步骤4.5、根据马尔可夫转换域中的每个元素的取值，将各个元素映射到相应调色板中对应取值的索引区间，从而得到光谱编码图像。
[0071]
在本实施例中，提取茶叶样本高光谱图像224
×
224大小感兴趣的平均光谱信号x＝[x1,x2,
···
,xk,
···
,xn]，为了获得其马尔可夫概率转换矩阵mtm，将光谱信号对应值域等分成q份，形成q个子值域q1,q2,
···
,qi,
···
,qq，对x中的每个元素划分值域编号，记录每次由xk→
x
k 1
过程中子值域的跳动，并综合统计跳动的概率，得到mtm矩阵，具体公式如式(2)、式(3)所示：
[0072][0073][0074]
式(2)和式(3)中，qi为编号为i的子值域，qj为编号为j的子值域，times of(qi→
qj)表示相邻两个波段的光谱值属于qi子值域和qj子值域的个数，times of(qi→
others)表示邻两个波段属于qi子值域和全部子值域的个数，w
i,j
表示编号为i的子值域到编号为j的子值域的转移概率。
[0075]
mtf表示qi→
qj的转移概率，也就是说，考虑到时间位置，将包含幅度轴上转移概率矩阵mtm展开到mtf矩阵中，具体如式(4)所示。
[0076][0077]
在本实施例中，经过多次实验表明，当q为10时的茶叶种类识别效果，三种茶叶具体的编码图像如图2所示。
[0078]
步骤5、利用冗余离散小波变换对茶叶样本高光谱图像中感兴趣区域的图像信号进行一级分解，得到四个子带图像，并从中选取有效信息最多的三个子带图像并相应作为r、g、b通道图像，从而得到小波组合图像；
[0079]
步骤5.1、茶叶样本高光谱图像中感兴趣区域的图像信号通过一个低通滤波器后再通过一个高通滤波器的处理，从而得到水平细节分量lh；
[0080]
步骤5.2、茶叶样本高光谱图像中感兴趣区域的图像信号通过一个高通滤波器后再通过一个低通滤波器的处理，从而得到垂直细节分量hl；
[0081]
步骤5.3、茶叶样本高光谱图像中感兴趣区域的图像信号通过两个高通滤波器的处理后，得到对角线细节分量hh；
[0082]
步骤5.4、茶叶样本高光谱图像中感兴趣区域图像信号通过两个低通滤波器的处理后，得到低频分量ll；
[0083]
步骤5.5、从水平细节分量lh、垂直细节分量hl、对角线细节分量hh和低频分量ll
中选取有效信息最多的三个小波分量，相应作为r、g、b通道图像。
[0084]
在本实施例中，提取茶叶样本高光谱图像224
×
224大小感兴趣的图像信号，采用冗余离散小波变换对图像信号进行分解，该变换去掉了离散小波变换中对图像进行下采样的环节，能够保证图像尺寸的不变性，大小为224
×
224的茶叶高光谱图像经冗余离散小波变换后，将最终得到224
×
224大小的四个字带图像，包括：低频分量ll、水平细节分量lh、垂直细节分量hl、对角线细节分量hh。四个分量分解公式如式(5)、式(6)、式(7)、式(8)所示：
[0085][0086][0087][0088][0089]
式(5)、式(6)、式(7)、式(8)中，h和g分别为低通和高通滤波器；a表示茶叶样本高光谱图像感兴趣图像信号的行数，b表示图像信号的列数，i
rll
(a,b)为图像信号第a行b列像素值经过r级分解后的低频平滑部分，能量集中，体现灰度的变化；i
rlh
(a,b)为图像信号第a行b列像素值经过r级分解后的高频水平细节部分，携带水平边缘信息；i
rhl
(a,b)为图像信号第a行b列像素值经过r级分解后的高频垂直细节部分，携带垂直边缘信息；i
rhh
(a,b)为图像信号第a行b列像素值经过r级分解后的高频对角线细节部分，携带对角边缘信息；为r级分解前的图像信号，本文所采用的的是一级分解，即r＝1，则为原始输入信号，为一级分解信号，*(
·
,
·
)表示分别与图像信号的横轴与纵轴进行卷积。三种茶叶具体的小波组合图像如图2所示。
[0090]
步骤6、利用3个1
×
1的卷积核对光谱编码图像和小波组合图像进行融合，得到融合图像，基于对融合图像对alexnet模型进行训练，得到训练后的茶叶种类识别模型，用于输出茶叶种类的识别结果。
[0091]
参照图3，本实施例中，一种基于图谱信号的茶叶种类识别装置，包括：获取单元、预处理单元、光谱编码单元、小波组合单元、识别单元，其中，
[0092]
获取单元，用于通过高光谱仪器采集不同种类茶叶样本的高光谱图像，得到不同种类茶叶样本的高光谱图像；
[0093]
预处理单元，用于对茶叶样本高光谱图像进行黑白板校正预处理，得到校正后的茶叶样本高光谱图像；
[0094]
光谱编码单元，用于对茶叶样本高光谱图像中感兴趣区域平均光谱信号进行马尔科夫转换域编码，得到光谱编码图像；具体的说，光谱编码单元是先去掉茶叶样本高光谱图像中感兴趣区域的平均光谱信号的首、尾噪声波段，得到包括n个波段的茶叶样本去噪光谱信号；其次，将茶叶样本去噪光谱信号的光谱值范围等分为q份，从而得到q个子值域，统计茶叶样本每个波段的光谱值所在子值域到下一个波段的光谱值所在子值域之间子值域的跳动变化规律，从而得到q
×
q的马尔可夫概率转换矩阵mtm；接着，根据第k个波段到第l个波段分别所属的子值域，对应马尔可夫概率转换矩阵mtm中两种子值域跳动的概率转化值，作为马尔科夫转换域mtf第i行和第j列的矩阵数值，从而得到n
×
n的马尔可夫转换域mtf；最后，根据马尔可夫转换域中的每个元素的取值，将各个元素映射到相应调色板中对应取
值的索引区间，从而得到光谱编码图像。
[0095]
小波组合单元，用于对茶叶样本高光谱图像中感兴趣区域图像信号进行一级冗余离散小波分解，得到四个子带图像，基于有效信息最多的三个子带图像作为rgb图像的三个通道，得到小波组合图像；具体的说，小波组合单元是先将茶叶样本高光谱图像中感兴趣区域的图像信号通过一个低通滤波器后再通过一个高通滤波器的处理，从而得到水平细节分量lh，茶叶样本高光谱图像中感兴趣区域的图像信号通过一个高通滤波器后再通过一个低通滤波器的处理，从而得到垂直细节分量hl，茶叶样本高光谱图像中感兴趣区域的图像信号通过两个高通滤波器的处理后，得到对角线细节分量hh，茶叶样本高光谱图像中感兴趣区域图像信号通过两个低通滤波器的处理后，得到低频分量ll；再从水平细节分量lh、垂直细节分量hl、对角线细节分量hh和低频分量ll中选取有效信息最多的三个小波分量，相应作为r、g、b通道图像。
[0096]
识别单元，通过1
×
1卷积融合编码图像和小波组合图像，基于融合图像，利用alexnet模型进行训练测试，得到茶叶种类的识别结果。
[0097]
该系统放大了茶叶样本光谱曲线细节上的差异，并通过选取合适的滤波器，可以极大的减小或去除所提取得不同特征之间的相关性，而且通过卷积神经网络融合茶叶样本的光谱编码图像和小波组合图像，可以有效结合两者的互补信息，从而提升了茶叶种类的识别精度。