基于微根管的植物原位置根系图像检测方法、设备及存储介质与流程

1.本发明涉及图像检测方法领域，特别是涉及基于微根管的植物原位置根系图像检测方法、设备及存储介质。


背景技术：

2.在植物生长中，根系是植物从土壤等介质环境中获取养分和水分的重要器官。由于根系对植株生长的特殊要求，了解植物根系在不同条件下的生长情况，对植物学、农学、作物栽培等领域具有非常重要的意义。但植物根系一般位于土壤中难以检测，
3.目前，植物根系观测主要采用土钻法、挖掘法等破坏性观测方法，以及微根管法、容器法等非破坏性观测方法。目前的方法，人工依赖度大，效率低，精准度低。
4.在没有计算机视觉的应用条件下：使用微根管采集植物图片，微根窗图像采集系统深入土中采集根系图像，图像的采集环境较差，光的衍射、光照不均匀、摄像头聚焦不良等因素都会导致图像变得不清晰，图像对比度差，且采集到的图像背景中含有很多灰度值与根系相似的土壤颗粒及碎石，给图像分割带来很大困难，图像中追踪根的标准方法极其繁琐和耗时。


技术实现要素：

5.为了克服上述现有技术存在的缺陷，本发明提供了基于微根管的植物原位置根系图像检测方法、设备及存储介质，可以解决图像中追踪根的标准方法极其繁琐和耗时的问题，精准度低的问题，极大提高了工作效率，减少了人工成本，保障了识别精准度。
6.本发明采用的技术方案在于：
7.基于微根管的植物原位置根系图像检测方法，包括以下步骤：
8.步骤s1、对植物根系进行图像采集；
9.步骤s2、对采集到的图像进行语义注释；
10.步骤s3、对原始图像及对应的标签文件进行预处理；
11.步骤s4、针对步骤s3中处理后的数据，进行图像分割检测。
12.进一步地，所述的步骤s1，对植物根系进行图像采集实施方式如下：
13.步骤s11，搭建微根窗管检测设备，用管加工成微根管观测壳，将管两端盖上不透光的黑色盖子，并将暴露在土壤上面的部分使用不透光材料封住，防止有光进入管内影响植物生长，将管埋入植物附近的土内，等待植物根系生长；
14.步骤s12，获取数据，定期使用内窥镜探测植物根系生长图片，获取植物根系数据集；
15.步骤s13，标注整理。
16.进一步地，所述的步骤s2，对采集到的图像进行语义注释实施方式如下：
17.在anaconda中安装labelme，使用支持语义分割的图形图像注释工具labelme对文
件夹中的图像进行注释，设置使用自动保存，将原始图像中的根系部分进行标注注释后保存为json文件，并通过程序转换为灰度图标签文件，其中根部区域赋予像素值1，背景区域赋予像素值0。
18.进一步地，所述的步骤s3，对原始图像及对应的标签文件进行预处理实施方式如下：
19.将图像统一划分尺寸为512
×
512，通过对图片进行随机旋转、水平翻转以及镜像翻转，随机添加噪声，增加数据样本。
20.进一步地，所述的步骤s4，对图像分割检测实施方式如下：
21.搭建植物根系图像分割神经网络，训练分割网络模型，调整参数，将获取到的图像按照8:2的比例分为训练图像与测试图像，在模型训练阶段使用训练图像及其对应的标签文件对网络进行训练，获得训练好的权重参数对测试图像进行分割；
22.使用与根系类似的样本集对深度学习分割网络模型进行训练，得到对应的训练参数。
23.进一步地，所述分割网络模型，实施方式如下：
24.搭建与迁移学习、注意力机制结合的u-net网络：
25.将u-net中的主干提取部分设置为vgg16网络，用于对图像的特征提取；
26.①
在对图像的主干提取过程中，vgg16会先将预处理后尺寸为512*512*3的图片进行通过两次64通道的卷积和relu激活函数，512*512为图像尺度，3为图像的通道数，并获得初步有效特征层c1，然后进行2*2的最大池化，最大池化不改变图像的通道数，此最大池化会将图像的高宽压缩至一半得到256*256*64图像；
27.②
将获得的256*256*64图像进行两次128通道的卷积和relu激活函数得到有效特征层c2，继续进行2*2的最大池化，此最大池化会将图像的高宽压缩至一半得到128*128*128的图像；
28.③
将获得的128*128*128的图像进行三次256通道的卷积和relu激活函数得到有效特征层c3，继续进行2*2的最大池化，此最大池化会将图像的高宽压缩至一半得到64*64*256的图像；
29.④
将获得的64*64*256的图像进行三次512通道的卷积和relu激活函数得到有效特征层c4，继续进行2*2的最大池化，此最大池化会将图像的高宽压缩至一半得到32*32*512的图像。
30.⑤
将所述步骤
④
的图像进行三次步长为1*1，通道为512的卷积，获得32*32*512的特征层k；
31.在u-net的上采样中加入注意力机制，k与跳跃连接的有效特征层c4通过注意力机制后再与上采样后的k进行叠加，经过两个3*3的卷积及relu激活函数后生成k1，k1与c3通过注意力机制后再与上采样后的k1进行叠加，同样的经过两个3*3的卷积及relu激活函数后生成k2，步骤再重复两次，通过一个1*1的卷积，获得与输入图像同等大小的特征图；
32.利用迁移学习将与根系类似的样本集得到的模型参数进行迁移，训练数据输入到与迁移学习、注意力机制结合的u-net网络中进行参数训练并保存训练所得的参数；最后用训练所得的权重对测试数据集进行分割，得到分割结果图。
33.进一步地，还包括预测网络，实施方式如下：
34.将训练注意力机制结合的u-net网络所得到的模型文件对检测数据进行检测，实现根系分割的预测；
35.在每个训练时期通过roc曲线计算auc值，使用auc值判断模型的好坏，具体实现如下：
36.假阳性率fpr的公式：
[0037][0038]
真阳性率tpr的公式：
[0039][0040]
式(1)中，fpr为roc特征曲线的横轴；fp本来是非根部样本，但被网络识别为根部的样本；n为所有的非根部样本；
[0041]
式(2)中，tpr为roc特征曲线的纵轴；tp为识别正确的根部样本；p为所有的根部样本；
[0042]
tpr越大，代表正样本被正确识别的比例越高，同时fpr也越小，代表负样本被误识别成正样本的比例越小；
[0043]
auc是roc曲线下的面积，介于0.1和1之间，作为数值评价模型的好坏，值越大代表模型越好。
[0044]
基于微根管的植物原位置根系图像检测设备，包括存储器和处理器，存储器存储有计算机程序，所述的处理器执行所述计算机程序时实现如前文所述任一项所述的基于微根管的植物原位置根系图像检测方法的步骤。
[0045]
一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现如前文所述任一项所述的基于微根管的植物原位置根系图像检测方法。
[0046]
本发明的有益效果是：
[0047]
1.人工依赖度低，人力成本以及时间成本等有大幅降低。
[0048]
2.工作效率高，可以在相同的时间大幅度增加工作量。
[0049]
3.识别精准度高，工作质量高。
[0050]
4.对植物的生长状态进行综合记录，可及时发现植物根系的病虫害问题。
附图说明
[0051]
图1是基于微根管的植物原位置根系图像检测方法的原理框图；
[0052]
图2是基于微根管的植物原位置根系图像检测方法的系统实现流程图；
[0053]
图3是基于微根管的植物原位置根系图像检测方法的图像采集示意图；
[0054]
图4是基于微根管的植物原位置根系图像检测方法中u-net网络示意图；
具体实施方式
[0055]
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实
施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
[0056]
基于微根管的植物原位置根系图像检测方法、设备及存储介质，应用场景如下：
[0057]
1.科学研究方面：
[0058]
(1)应用场景：自然生态环境中的植物研究；
[0059]
(2)应用方法：将此图像采集设备安装于植物附近，对植物根系进行规律间隔数据采集检测。
[0060]
(3)应用效果：
[0061]
①
能够使用人眼观察到植物根系的变化以及生长环境；
[0062]
②
为监控范围内目标植物的生长状态、生长环境等植物科学领域的基础性研究提供充分的数据。
[0063]
2.安全监测方面：
[0064]
(1)应用场景：珍贵植物种植方面；
[0065]
(2)应用方法：将植物生长状态监测与本套系统结合，进行植物生长状态情况的轨迹监测。
[0066]
(3)应用效果：
[0067]
①
可以及时察觉植物生长状态；
[0068]
②
第一时间进行植物病虫害的预防。
[0069]
本基于微根管的植物原位置根系图像检测方法、设备及存储介质，实施如下：
[0070]
提出了一种有效的基于微根管的植物根系研究方法。通过使用微根管技术原位无损的采集植物根系的图像，再对图像进行分类标签设置，通过对带有分类标签的图像进行目标检测，赋予目标框检测伪标签，实现弱监督的训练，得到更高性能的植物根系检测，能有效提高植物根系测的精度。
[0071]
提出针对数据集少的问题提出的迁移学习机制。利用迁移学习的方法将解决一个问题所获得的知识应用于另一个不同但相关的问题来重用这些知识，提高图像分割质量，解决现实情况中的少量标注数据的困境。
[0072]
单一u-net模型应用于图像分割易产生的特征提取不够准确，加入注意力机制可以使得u-net中提取到的特征更加明确，提高植物根系的检测的准确率，创建一个基于深度学习的根系图像分割系统。
[0073]
迁移学习、注意力机制与u-net相结合，优化u-net网络对图像分割检测。条件控制与神经网络结合，建立了一个植物根系状态检测系统，具体包括根系图像的采取，图像处理，结果显示。
[0074]
如图3所示，选定几种植物搭建微根管检测系统，对不同深度不同角度的植物根系进行图像采集。通过大量采样建立根系数据库，对根系部分进行标注，使用不同的目标分割算法对其进行深度学习训练。并对根系分割系统进行优化。构建起软硬件环境，搭建可检测不同植物根部的可靠系统。
[0075]
如图1，图2所示，实施方式流程如下：
[0076]
(1)对植物根系进行图像采集
[0077]
搭建微根窗管检测设备，获取数据，标注整理。
[0078]
①
选用亚克力管作为微根管观测壳，管子直径尺寸选用4cm与7cm做；
[0079]
②
将亚克力管两端盖上不透光的黑色盖子，并将暴露在土壤上面的部分使用不透光胶布封住，防止有光进入管内影响植物生长，将管埋入植物附近的土内，等待植物根系生长；
[0080]
③
定期使用内窥镜探测植物根系生长图片，获取植物根系数据集。
[0081]
(2)对采集到的图像进行语义注释
[0082]
在anaconda中安装labelme，使用支持语义分割的图形图像注释工具labelme对文件夹中的图像进行注释，设置使用自动保存，将原始图像中的根系部分进行标注注释后保存为json文件。并通过程序转换为灰度图标签文件，其中根部区域赋予像素值1，背景区域赋予像素值0。
[0083]
(3)对原始图像及对应的标签文件进行预处理
[0084]
将图像统一划分尺寸为512
×
512。通过对图片进行随机旋转、水平翻转以及镜像翻转，随机添加噪声，增加数据样本，数据越多，可以有效的减少模型的过拟合，增强模型的泛化能力。
[0085]
(4)目标分割系统平台
[0086]
搭建植物根系图像分割神经网络，模型训练，参数调整，减小误差，提高图像分割准确性。将获取到的图像按照8:2的比例分为训练图像与测试图像。在对模型进行训练的时候，使用训练图像及其对应的标签文件对网络进行训练，获得训练好的权重参数对测试图像进行分割。
[0087]
将与根系类似的样本集对深度学习分割网络模型进行训练，得到对应的训练参数。
[0088]
如图4所示，搭建改进的u-net的网络：
[0089]
u-net网络分为特征提取、上采样和跳跃连接，在特征提取部分由卷积和最大池化组成，此部分的整体框架结构和vgg相似，故将u-net中的主干提取部分设置为vgg16网络作为对图像的特征提取。
[0090]
①
在对图像的主干提取过程中，vgg16会先将预处理后尺寸为512*512*3的图片进行两次64通道的卷积和relu激活函数，512*512为图像尺度，3为图像的通道数，并获得初步有效特征层c1，然后进行2*2的最大池化，最大池化不改变图像的通道数，此最大池化会将图像的高宽压缩至一半得到256*256*64图像；
[0091]
②
将获得的256*256*64图像进行两次128通道的卷积和relu激活函数得到有效特征层c2，继续进行2*2的最大池化，此最大池化会将图像的高宽压缩至一半得到128*128*128的图像；
[0092]
③
将获得的128*128*128的图像进行三次256通道的卷积和relu激活函数得到有效特征层c3，继续进行2*2的最大池化，此最大池化会将图像的高宽压缩至一半得到64*64*256的图像；
[0093]
④
将获得的64*64*256的图像进行三次512通道的卷积和relu激活函数得到有效特征层c4，继续进行2*2的最大池化，此最大池化会将图像的高宽压缩至一半得到32*32*512的图像。
⑤
将图像进行三次步长为1*1，通道为512的卷积，获得32*32*512的特征层k。
[0094]
在u-net的上采样中加入attention机制，k与跳跃连接的有效特征层c4通过注意力机制后再与上采样后的k进行叠加。经过两个3*3的卷积及relu激活函数后生成k1。k1与c3通过注意力机制后再与上采样后的k1进行叠加。同样的经过两个3*3的卷积及relu激活函数后生成k2。步骤再重复两次，最后通过一个1*1的卷积，使得最终获得与输入图像同等大小的特征图。
[0095]
利用迁移学习将与根系类似的样本集得到的模型参数进行迁移，训练数据输入到基于改进的u-net网络中进行参数训练并保存好训练好的参数；最后用训练好的权重对测试数据集进行分割，得到分割结果图。
[0096]
在预测网络将获得模型作为预训练网络模型对检测数据进行检测，实现根系分割的预测。在每个训练时期roc曲线计算auc值，使用auc值判断模型的好坏。
[0097]
roc特征曲线是横轴为假阳性率fpr，纵轴为真阳性率tpr的一条曲线。
[0098]
假阳性率fp:本来是非根部样本，但被网络识别为根部的样本。n：所有的非根部样本。
[0099]
真阳性率tp：识别正确的根部样本。p：所有的根部样本。
[0100]
当tpr越大。代表正样本被正确识别的比例越高，同时fpr也越小，代表负样本被误识别成正样本的比例越小。auc是roc曲线下的面积，介于0.1和1之间，作为数值可以直观的评价模型的好坏，值越大越好。
[0101]
本领域内的技术人员通过上述实施例提及的系统及方法，本实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式，模块之间也可根据计算机逻辑结构进行重新组织。而且，本实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0102]
根据本实施例的方法、设备(系统)、和计算机程序产品的流程图或方框图来描述的。应理解可由计算机程序指令实现流程图或方框图中的每一流程或方框、以及流程图或方框图中的流程或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程或方框图一个方框或多个方框中指定的功能的装置。
[0103]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程或方框图一个方框或多个方框中指定的功能。
[0104]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程或方框图一个方框或多个方框中指定的功能的步骤。
[0105]
在一个典型的配置中，计算设备包括一个或多个处理器(cpu)、输入/输出接口、网
络接口和内存。
[0106]
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(ram)和/或非易失性内存等形式，如只读存储器(rom)或闪存(flash ram)。存储器是计算机可读介质的示例。
[0107]
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。