基于混合卷积网络的小麦种子高光谱图像分类方法及系统与流程

1.本发明涉及图像分类技术领域，尤其是指一种基于混合卷积网络的小麦种子高光谱图像分类方法及系统。


背景技术：

2.小麦是世界上分布最广的粮食作物之一，其中麦种质量对农业生产安全至关重要。种子纯度是指种子的遗传特性一致的程度，其分类是种子质量检测的重要指标，有利于农产品质量的控制。随着育种研究的快速发展，各种优质种子大量涌入市场，丰富了农业生产，但也使种子品种检测问题复杂化。虽然传统的生化分析方法准确度高，但这些方法时间长，可能对种子造成损伤，不能满足现代农业生产中快速无损的要求。因此，开发一种快速、高效的种子品种检测方法对提高农业生产效率具有重要意义。


技术实现要素：

3.为此，本发明所要解决的技术问题在于克服现有技术中小麦种子品种检测所消耗的时间长，易对种子造成损伤的技术缺陷。
4.为解决上述技术问题，本发明提供了一种基于混合卷积网络的小麦种子高光谱图像分类方法，包括以下步骤：
5.s1、采集小麦种子的高光谱图像；
6.s2、提取高光谱图像的感兴趣区域，获得单个小麦种子的高光谱图像；
7.s3、构建混合卷积模型，所述混合卷积模型包括一维卷积模块和二维卷积模块，所述一维卷积模块用于提取光谱特征，所述二维卷积模块用于提取空间特征；
8.s4、通过所述混合卷积模型对所述单个小麦种子的高光谱图像进行识别，获得小麦种子品种的分类。
9.作为优选的，所述s1和s2之间还包括：对高光谱图像进行标准校正，使得光谱反射率值在0到1之间，获得校正后的高光谱图像。
10.作为优选的，所述s2包括：
11.根据高光谱图像构建伪rgb图像，将所述伪rgb图像转换成ycbcr图像；
12.提取ycbcr图像中的cb通道，对其进行自动阈值分割，选取小麦种子作为感兴趣区域，生成二值掩膜图像；
13.将二值掩膜图像与高光谱图像相乘，并分割成单个小麦种子的高光谱图像，对空白部分补零。
14.作为优选的，所述s3中，所述一维卷积模块包括依次设置的一维卷积层、标准化层、激活函数层和最大池化层。
15.作为优选的，所述s3中，所述一维卷积层中卷积核大小为5
×
1，步长为1，填充方式[0，0]；标准化层采用批处理；激活函数采用relu函数；最大池化层中卷积核的为3
×
1，步长为2，填充方式[0，0]。
[0016]
作为优选的，所述s3中，所述二维卷积模块包括依次设置的二维卷积层、标准化层、激活函数层、二维卷积层、激活函数层和最大池化层。
[0017]
作为优选的，所述二维卷积层中卷积核大小为3
×
3，步长为1，填充方式[0，0，0，0]；标准化层采用批处理；激活函数采用relu函数；最大池化层中卷积核的为2
×
2，步长为2，填充方式[0，0，0，0]。
[0018]
作为优选的，所述s3中，一维卷积模块和二维卷积模块皆具有两个。
[0019]
作为优选的，所述混合卷积模型还包括全局平局池化层和全连接层，
[0020]
其中，所述所述全局池化层对图像进行全局平均化，获得平均光谱值，所述一维卷积模块提取平均光谱值的光谱特征；所述二维卷积模块提取图像的空间特征；所述全连接层联合一维卷积模块输出的光谱特征和二维卷积模块输出的空间特征，并通过softmax层输出网络预测结果。
[0021]
本发明公开了一种基于混合卷积网络的小麦种子高光谱图像分类系统，包括：
[0022]
图像采集模块，所述图像采集模块用于采集小麦种子的高光谱图像；
[0023]
感兴趣区域提取模块，所述感兴趣区域提取模块用于提取高光谱图像的感兴趣区域，获得单个小麦种子的高光谱图像；
[0024]
混合模型构建模块，所述混合模型构建模块用于构建混合卷积模型，所述混合卷积模型包括一维卷积模块和二维卷积模块，所述一维卷积模块用于提取光谱特征，所述二维卷积模块用于提取空间特征；
[0025]
识别模块，所述识别模块通过所述混合卷积模型对所述单个小麦种子的高光谱图像进行识别，获得小麦种子品种的分类。
[0026]
本发明的上述技术方案相比现有技术具有以下优点：
[0027]
1、本发明为了充分利用小麦种子的空间和光谱信息，对小麦种子的高光谱图像进行了一维和二维的混合卷积分析；相比于单一的卷积操作，混合卷积可以同时提取到空间和光谱维度上的特征，极大地提高了模型的分类精度，且拥有良好的泛化性能。
[0028]
2、本发明中的小麦种子高光谱图像分类方法，耗时短，不会对种子造成损伤，满足现代农业生产中快速无损的要求，高效便捷。
附图说明
[0029]
图1为本发明的实施总流程图
[0030]
图2为小麦种子高光谱图像数据预处理示意图；
[0031]
图3为混合卷积深度学习分类模型结构示意图。
具体实施方式
[0032]
下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定。
[0033]
参照图1
‑
图3所示，本发明公开了一种基于混合卷积网络的小麦种子高光谱图像分类方法，包括以下步骤：
[0034]
步骤一、采集小麦种子的高光谱图像；
[0035]
步骤二、提取高光谱图像的感兴趣区域，获得单个小麦种子的高光谱图像，具体包
括：
[0036]
根据高光谱图像构建伪rgb图像，将伪rgb图像转换成ycbcr图像；
[0037]
提取ycbcr图像中的cb通道，对其进行自动阈值分割，选取小麦种子作为感兴趣区域，生成二值掩膜图像；
[0038]
将二值掩膜图像与高光谱图像相乘，并分割成单个小麦种子的高光谱图像，对空白部分补零。
[0039]
其中，步骤一和步骤二之间还包括：对高光谱图像进行标准校正，使得光谱反射率值在0到1之间，获得校正后的高光谱图像。
[0040]
步骤三、构建混合卷积模型，混合卷积模型包括一维卷积模块和二维卷积模块，一维卷积模块用于提取光谱特征，二维卷积模块用于提取空间特征。
[0041]
其中，一维卷积模块包括依次设置的一维卷积层、标准化层、激活函数层和最大池化层，一维卷积层中卷积核大小为5
×
1，步长为1，填充方式[0，0]；标准化层采用批处理；激活函数采用relu函数；最大池化层中卷积核的为3
×
1，步长为2，填充方式[0，0]。
[0042]
二维卷积模块包括依次设置的二维卷积层、标准化层、激活函数层、二维卷积层、激活函数层和最大池化层。二维卷积层中卷积核大小为3
×
3，步长为1，填充方式[0，0，0，0]；标准化层采用批处理；激活函数采用relu函数；最大池化层中卷积核的为2
×
2，步长为2，填充方式[0，0，0，0]。
[0043]
具体的，一维卷积模块和二维卷积模块皆具有两个。两个一维卷积模块串联，两个二维卷积模块串联。
[0044]
此外，混合卷积模型还包括全局平局池化层和全连接层，其中，全局池化层对图像进行全局平均化，获得平均光谱值，一维卷积模块提取平均光谱值的光谱特征；二维卷积模块提取图像的空间特征；全连接层联合一维卷积模块输出的光谱特征和二维卷积模块输出的空间特征，并通过softmax层输出网络预测结果。
[0045]
步骤四、通过混合卷积模型对单个小麦种子的高光谱图像进行识别，获得小麦种子品种的分类。
[0046]
本发明还公开了一种基于混合卷积网络的小麦种子高光谱图像分类系统，包括图像采集模块、感兴趣区域提取模块、混合模型构建模块和识别模块。
[0047]
图像采集模块用于采集小麦种子的高光谱图像。感兴趣区域提取模块用于提取高光谱图像的感兴趣区域，获得单个小麦种子的高光谱图像。混合模型构建模块用于构建混合卷积模型，混合卷积模型包括一维卷积模块和二维卷积模块，一维卷积模块用于提取光谱特征，二维卷积模块用于提取空间特征。识别模块通过混合卷积模型对单个小麦种子的高光谱图像进行识别，获得小麦种子品种的分类。
[0048]
下面，结合具体实施例对本发明中的技术方案做进一步说明。
[0049]
首先，本发明对高光谱图像数据的获取：将待识别小麦种子放置于传送带上，利用高光谱相机采集其高光谱图像；为了补偿光源变化的影响，对采集的高光谱图像进行标准校正，使得光谱反射率值在0到1之间；
[0050]
其次，选取感兴趣区域，包括：s21、由第35、20和10个波段下的光谱图像组成伪rgb图像，然后转换成ycbcr图；s22、提取将步骤s21中的ycbcr图像中的cb通道，对其进行自动阈值分割，选取小麦种子作为感兴趣区域，生成二值掩膜图像；s23、将s22中的掩膜与步骤
s12中的高光谱图像相乘，然后分割成单个小麦种子的高光谱图像，对空白部分补零；
[0051]
再则，建立混合卷积模型，包括：s31、将s23步骤中获取的单个小麦种子作为模型输入，进行两分支处理；s32、其中一个分支先进行全局平均池化，得到平均光谱值，然后采用一维卷模块提取光谱特征；另一个分支直接采用二维卷积模块提取空间特征；s33、经过多个模块特征提取后，采用一个全连接层联合卷积特征，建立小麦种子品种识别模型。
[0052]
具体的，混合卷积模型建立过程如下：基于混合卷积模型的小麦种子高光谱图像分类方法，在空间维度和光谱维度上，分别采用二维卷积模块和一维卷积模块提取特征。二维卷积模块由卷积层、标准化层、激活函数层、卷积层、激活函数层和最大池化层组成；其中卷积层中卷积核大小为3
×
3，步长为1，填充方式[0，0，0，0]；标准化层采用批处理；激活函数采用relu函数；最大池化层中卷积核的为2
×
2，步长为2，填充方式[0，0，0，0]。一维卷积模块由卷积层、标准化层、激活函数层和最大池化层组成；其中卷积层中卷积核大小为5
×
1，步长为1，填充方式[0，0]；标准化层采用批处理；激活函数采用relu函数；最大池化层中卷积核的为3
×
1，步长为2，填充方式[0，0]。混合卷积特征模型中共采用两个二维卷积模块和两个一维卷积模块，其中第一个模块卷积核个数为64，第二个模块卷积核个数为128。卷积模块后分别连接10个神经元的全连接层，将全连接层特征联合。最后，再通过一个全连接层和softmax层输出网络预测结果。
[0053]
参照图1所示，为本发明的一个具体实施例的总流程图。首先采集小麦种子的高光谱图像。将小麦放置在带凹槽的黑色塑料数粒板上，每批实验样本100粒。调节光谱分辨率和扫描长度，最终得到的一张1000
×
1392
×
94的高光谱图像，其中94为波段数。对采集到的高光谱图像如下进行校正，公式：
[0054][0055]
式中，i
c
和i分别为校正后的高光谱图像和原始高光谱图像，i
b
为标准黑板图像，i
w
为标准白板图像，后续的处理都是基于校正后的图像i
c
进行。
[0056]
参照图2所示，为部分高光谱图像预处理过程。选择第35，20，10波段下图像构建伪彩图，然后转换到ycbcr空间，提取cb通道，采用自动阈值分割法生成二值化掩膜，获取小麦种子感兴趣区域。将单个小麦种子的高光谱图像分割出来，采用双线性插值算法对其进行缩放处理，从而得到大小一致的单个小麦种子高光谱图像用于后续建立模型。
[0057]
混合卷积深度学习分类模型的模型结构如图3所示。基于混合卷积模型的小麦种子高光谱图像分类方法，在空间维度和光谱维度上，分别采用二维卷积模块和一维卷积模块提取特征。二维卷积模块由卷积层、标准化层、激活函数层、卷积层、激活函数层和最大池化层组成；其中卷积层中卷积核大小为3
×
3，步长为1，填充方式[0，0，0，0]；标准化层采用批处理；激活函数采用relu函数；最大池化层中卷积核的为2
×
2，步长为2，填充方式[0，0，0，0]。一维卷积模块由卷积层、标准化层、激活函数层和最大池化层组成；其中卷积层中卷积核大小为5
×
1，步长为1，填充方式[0，0]；标准化层采用批处理；激活函数采用relu函数；最大池化层中卷积核的为3
×
1，步长为2，填充方式[0，0]。混合卷积特征模型中共采用两个二维卷积模块和两个一维卷积模块，其中第一个模块卷积核个数为64，第二个模块卷积核个数为128。卷积模块后分别连接10个神经元的全连接层，将全连接层特征联合。最后，再通过一个全连接层和softmax层输出网络预测结果。
[0058]
本发明的优点如下：传统的二维卷积在处理高光谱图像时忽略了波段的像元邻域信息(光谱信息)，而一维卷积只能处理光谱信息。为了充分利用小麦种子的空间和光谱信息，对小麦种子的高光谱图像进行了一维和二维的混合卷积分析。相比于单一的卷积操作，混合卷积可以同时提取到空间和光谱维度上的特征，极大地提高了模型的分类精度，且拥有良好的泛化性能。
[0059]
本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd
‑
rom、光学存储器等)上实施的计算机程序产品的形式。
[0060]
本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0061]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0062]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0063]
显然，上述实施例仅仅是为清楚地说明所作的举例，并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。