一种植物生长时间的识别方法及装置与流程

1.本发明涉及植物物候识别技术领域，特别是涉及一种植被生长时间的识别方法及装置。


背景技术：

2.植物物候是指受气候、水文、土壤等环境条件影响而出现的周期性现象，往往由植物发芽、展叶、开花、叶变色、落叶等关键事件表征。植物物候反映了生态系统对气候变化的敏感指标。植物物候控制植被叶片的变化，从而影响了光合作用、蒸腾作用等生长过程，在很大程度上影响着陆气相互作用。因此，对植被物候的研究，有助于增进植被对气候变化响应的理解，对研究植被物候变化与气候变化与陆地生态系统的关系具有十分重要的意义。
3.但是目前对植物物候研究中，获取到的数据往往存在缺失、污染的问题造成数据的不连续，对后续的物候分析研究造成干扰，无法得到准确的判断植物所处的生长时间，因此需要一种新的植物生长时间的识别方法和装置，更加准确的获取植物的生长时间。


技术实现要素：

4.本发明的目的是：提供一种新的植物生长时间的识别方法和装置，更加准确的获取植物的生长时间。
5.为了实现上述目的，本发明提供了一种植物生长时间的识别方法，包括：
6.获取包括第一植物的第一图片。
7.将所述第一图片输入到图像分割网络，获取所述第一图片的感兴趣区域。
8.将所述感兴趣区域输入到预设的神经网络模型中，通过神经网络模型提取感兴趣区域的绿度信息，并将所述绿度信息和所述神经网络模型生成的植物不同生长时间的绿度信息曲线进行比较，得到所述第一图片中第一植物所处的生长时间。
9.进一步的，所述获取包括第一植物的第一图片，具体为：
10.获取一张包括第一植物的第二图片，调整所述第二图片的尺寸和分辨率，使所述第二图片符合用于训练所述神经网络模型的数据标准，得到第一图片。
11.进一步的，将所述第一图片输入到图像分割网络，获取所述第一图片的感兴趣区域，具体为：
12.对所述第一图片进行剔除处理后，获得第一植物的第一范围；其中，所述第一范围为不包括天空、水源、动物、裸土和岩石的范围。
13.采用图像分割网络从第一范围内提取第二范围，得到的第二范围为第一图片的感兴趣区域，其中，所述第二范围为第一范围的子集且小于第一范围。
14.进一步的，所述神经网络模型的建立方法包括：
15.获取样本图片数据集；所述样本图片数据集中的每张图片均包括所述第一植物；
16.将所述样本图片数据集输入到图像分割网络，获取样本图片数据集中每个图片的感兴趣区域；
17.将所述样本图片数据集中的每个图片的感兴趣区域输入到回归结构的resnet神经网络，提取每个图片感兴趣区域的绿度信息并生成第一植物不同生长时间的绿度信息曲线。
18.进一步的，所述获取样本图片数据，具体为：
19.获取初始图片数据集并对所述初始图片数据集进行筛选，去除图片数据集中被污染的图片，所述污染包括：雾气、水滴、光斑、动物足迹；
20.将经过筛选的图片数据集的尺寸、分辨率进行归一化处理，得到样本图片数据集；其中所述样本图片数据集中的每张图片具有相同尺寸和分辨率。
21.进一步的，在获取样本图片数据集之后，所述神经网络模型的建立方法还包括：
22.通过图像形态学变换增加所述样本图片数据集中的样本图片数量。
23.进一步的，所述通过图像形态学变换增加样本图片数据集中的样本数量，具体为：
24.采用灰度变换、随机折叠变换、随机缩放变换、随机偏移变换、随机旋转变换和随机拉伸变换的图像形态学变换方法获得变换图片；
25.选取变换图片的中心区域作为新增加的样本。
26.进一步的，所述提取每个图片感兴趣区域的绿度信息并生成第一植物不同生长时间的绿度信息曲线，具体为：
27.分别获取每个图片感兴趣区域中每个像素对应的dn值以及像素中红、绿、蓝波段dn值；
28.根据每个图片中每个像素的dn值以及红、绿、蓝波段dn值得到每个图片的绿度信息；
29.将获取到的所有绿度信息按照图片的时间顺序拟合为绿度信息曲线。
30.本发明还公开了一种植物生长时间的识别装置，包括：第一获取模块、第一处理模块和第二处理模块。
31.所述第一获取模块，用于获取包括第一植物的第一图片。
32.所述第一处理模块，用于将所述第一图片输入到图像分割网络，获取所述第一图片的感兴趣区域。
33.所述第二处理模块，用于将所述感兴趣区域输入到预设的神经网络模型中，通过神经网络模型提取感兴趣区域的绿度信息，并将所述绿度信息和神经网络模型中植物不同生长时间的绿度信息曲线进行比较，得到所述第一图片中植物所处的生长时间。
34.进一步的，所述获取包括第一植物的第一图片，具体为：
35.获取一张包括第一植物的第二图片，调整所述第二图片的尺寸和分辨率，使所述第二图片符合用于训练所述神经网络模型的数据标准，得到第一图片。
36.本发明实施例一种识别植被生长时间的方法及装置与现有技术相比，其有益效果在于：通过提取第一图片的绿度信息并将所述绿度信息和预设的神经网络所生成的绿度信息曲线进行比较，可以更加准确的判断第一图片中第一植物所处的生长时间。
附图说明
37.图1是本发明一种植物生长时间的识别方法的流程示意图；
38.图2是本发明一种植物生长时间的识别方法中神经网络模型建立的流程示意图；
39.图3是本发明一种植物生长时间的识别方法中resnet的结构示意图；
40.图4是本发明一种植物生长时间的识别装置的结构示意图。
具体实施方式
41.下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
42.实施例1：
43.参照附图1，本发明公开了一种植物生长时间的识别方法，应用于从图片中提取物候信息，并根据物候信息获得图片中植物所处的生长时间，主要包括如下步骤：
44.步骤s1，获取包括第一植物的第一图片。
45.步骤s2，将所述第一图片输入到图像分割网络，获取所述第一图片的感兴趣区域。
46.步骤s3，将所述感兴趣区域输入到预设的神经网络模型中，通过神经网络模型提取感兴趣区域的绿度信息，并将所述绿度信息和所述神经网络模型生成的植物不同生长时间的绿度信息曲线进行比较，得到所述第一图片中第一植物所处的生长时间。
47.在本实施例的步骤s1中，所述获取包括第一植物的第一图片，具体为：
48.获取一张包括第一植物的第二图片，调整所述第二图片的尺寸和分辨率，使所述第二图片符合用于训练所述神经网络模型的数据标准，得到第一图片。
49.在本实施例中通过调整获取到的图片的格式，使图片符合神经网络模型输入的数据标准，采用相同的图片格式和数据标准，可以避免一些不必要因素的干扰，提高判断结果的准确性。
50.在本实施例步骤s2中，将所述第一图片输入到图像分割网络，获取所述第一图片的感兴趣区域，具体为：
51.对所述第一图片进行剔除处理后，获得第一植物的第一范围；其中，所述第一范围为不包括天空、水源、动物、裸土和岩石的范围。
52.采用图像分割网络从第一范围内提取第二范围，得到的第二范围为第一图片的感兴趣区域，其中，所述第二范围为第一范围的子集且小于第一范围。
53.在本实施例中，通过构建感兴趣区域可以剔除天空、水源、动物、裸土和岩石的干扰，只向神经网络中输入有关第一植物区域的信息，提高判断结果的准确性。同时在第一范围内进一步的选取第二范围，可以保证所选取到的数据都是第一植物的数据，而不会引入其它植物的数据。
54.在本实施例中，参照附图2，为了根据准确的进行植物生长时间的判断，建立了相应的神经网络模型，所述神经网络模型的建立方法包括的主要步骤如下：
55.步骤s4，获取样本图片数据集；所述样本图片数据集中的每张图片均包括所述第一植物。
56.步骤s5，将所述样本图片数据集输入到图像分割网络，获取样本图片数据集中每个图片的感兴趣区域。
57.步骤s6，将所述样本图片数据集中的每个图片的感兴趣区域输入到回归结构的resnet神经网络，提取每个图片感兴趣区域的绿度信息并生成第一植物不同生长时间的绿度信息曲线。
58.在本实施例的步骤s4中，所述获取样本图片数据，具体为：
59.获取初始图片数据集并对所述初始图片数据集进行筛选，去除图片数据集中被污染的图片，所述污染包括：雾气、水滴、光斑、动物足迹。
60.将经过筛选的图片数据集的尺寸、分辨率进行归一化处理，得到样本图片数据集；其中所述样本图片数据集中的每张图片具有相同尺寸和分辨率。
61.在本实施中，由于在数据采集过程中的自然因素造成数据的污染，造成图片中第一植物的信息不能得到有效的提取，因此需要对初始图片数据集进行筛选，剔除污染的数据。
62.然后将筛选后的数据调整为统一的数据格式，方便后续模型的训练和检验。一种可选的实施方式为：统一利用python处理相应的初始图片数据集，选取缩放法，相较于裁剪方法，更大程度的保留图像的原有信息。将数据处理好后，图片进行归一化处理到相同尺寸大小，缩放至224＊224数据大小进行识别。
63.在本实施例中，在数据筛选后，为了保证数据的连贯性，还包括数据填充步骤，包括：先使用相邻的图片数据填充，再使用最近邻方法进行插值。经数据填充后，对每个图片的时间序列都进行可视化的评估和检查，以确保一致性和整体质量。
64.在本实施例中，在步骤s4中，在获取样本图片数据集之后，所述神经网络模型的建立方法还包括：
65.通过图像形态学变换增加所述样本图片数据集中的样本图片数量。
66.在本实施例中，所述通过图像形态学变换增加样本图片数据集中的样本数量，具体为：
67.采用灰度变换、随机折叠变换、随机缩放变换、随机偏移变换、随机旋转变换和随机拉伸变换的图像形态学变换方法获得变换图片；
68.选取变换图片的中心区域作为新增加的样本。
69.在本实施例中，通过适当的旋转、缩放、尺度变换等数据增强操作提高了模型的训练精度，增强了模型的泛化能力。利用图像形态学变换来增加数据集中的样本数量和增加数据集的多样性，主要包括以下几种方法。
70.1)灰度变换：对图片进行灰度变化，消除干扰噪声，增加目标图片信息。
71.2)随机折叠变换：包括横、竖、斜三种方法。
72.3)随机缩放变换：图片随机缩放最多10％。
73.4)随机偏移变换：图片随机偏移，最多偏移10％。
74.5)随机旋转变换：图片随机旋转一定角度。
75.6)随机拉伸变换：将图片沿垂直或水平方向随机拉至10％。
76.经过以上多种变换，选取图片中心的224＊224部分被截取，不足尺寸图像用0值填充。
77.在步骤s5中，将所述样本图片数据集输入到图像分割网络，获取样本图片数据集中每个图片的感兴趣区域。
78.在本实施例中，步骤s5中提取感兴趣区域的方法和步骤s2相同，区别在于，步骤s2中仅对一张图片进行感兴趣区域的提取，而步骤s5中对样本数据集中的每张图片都进行感兴趣区域的提取。
79.在本实施例步骤s6中，所述提取每个图片感兴趣区域的绿度信息并生成第一植物不同生长时间的绿度信息曲线，具体为：
80.分别获取每个图片感兴趣区域中每个像素对应的dn值以及像素中红、绿、蓝波段dn值；
81.根据每个图片中每个像素的dn值以及红、绿、蓝波段dn值得到每个图片的绿度信息；
82.将获取到的所有绿度信息按照图片的时间顺序拟合为绿度信息曲线。
83.在本实施例中，可以从每幅获取的图像中提取红、绿、蓝(rgb)三个波段的颜色通道信息，但是rgb的三个波段的时间序列是有噪声的，并且它们本身很少用于物候分析，因为一些场景的外部因素(天气和大气效应，以及太阳光照几何)和内部处理(包括曝光控制)的影响会混淆潜在的季节信号中。
84.因此需要对红、绿、蓝(rgb)三个波段的颜色通道信息进行数据转换，避免噪声的干扰。根据标准的加色模型，在可见范围内的任何给定颜色的表示都是通过改变这些原色的强度(像素值)来实现的。图像中的每个像素都与一个digital number(即dn值)相关联，rgb图中的每个像素都与其中一个彩色层的强度相对应，从而可以计算勾画出特定植被类型的区域即感兴趣区域(roi)的平均值和其他统计量。通过将dn值转换为to their respective chromatic coordinates(e.g.thegreen chromatic coordinate，gcc)，可以很大程度上抑制这种可变性。所述转换公式如下：
[0085][0086]
其中，r
dn
、g
dn
、b
dn
分别为红、绿、蓝波段dn值。
[0087]
在本发明中，所述resnet神经网络模型的建立方法还包括：
[0088]
对采集到的样本图像数据集进行归一化处理后，将处理后的样本图像数据集按照比例(7：3)分为训练集及验证集。
[0089]
搭建resnet神经网络的回归模型，将所述训练集数据进行输入，训练之后的结果进行输出。
[0090]
使用均方根误差和平方差作为评估指标，将验证集输入进行验证，根据验证结果对模型进行优化，使用优化后的模型进行预测，获取图片中植被物候生长时间。
[0091]
resnet神经网络的回归模型的一种可选的实施方式为：参照附图3，所述搭建的resnet回归模型包含50层，所述的网络包含四个残差块对不同尺度特征图像进行卷积处理获得图像特征，同时包含最大池化层对卷积数据进行降维处理，最后使用全连接层操作得到植被生长预测时间。
[0092]
利用输入的第一层图像数据大小为224＊224＊3数据，使用进行最大池化层与卷积处理，对原本特征图像进行降维处理，输出为56＊56＊64特征图像数据。
[0093]
利用3个相同的残差块结构，每个卷积层conv包括一个3＊3的卷积核大小层和步幅为2进行下采样，同时使用batchnorm对输入数据进行正则化处理，增加了relu激活层，将上述图像中所有信息进行特征提取，较小的通道数使得处理效率更高，得到56＊56＊256的特征图像。
[0094]
利用4个相同的残差块结构，每个卷积层conv包括一个3＊3的卷积核大小层和步
幅为2进行下采样，同时使用batchnorm对输入数据进行正则化处理，增加了relu激活层，将上述图像中所有信息进行特征提取，得到28＊28＊512的特征图像。
[0095]
利用6个相同的残差块结构，每个卷积层conv包括一个3＊3的卷积核大小层和步幅为2进行下采样，同时使用batchnorm对输入数据进行正则化处理，增加了relu激活层，将上述图像中所有信息进行特征提取，得到14＊14＊1024的特征图像。
[0096]
利用3个相同的残差块结构，每个卷积层conv包括一个3＊3的卷积核大小层和步幅为2进行下采样，同时使用batchnorm对输入数据进行正则化处理，增加了relu激活层，将上述图像中所有信息进行特征提取，得到7＊7＊2048的特征图像；
[0097]
利用1个全连接层，使用softmax函数对上述的输出数据进行降维处理，获得图像中植被生长时间。
[0098]
实施例2：
[0099]
参照附图4，本实施例公开了一种植物生长时间的识别装置，应用于和实施例1相同的应用场景，包括：第一获取模块101、第一处理模块102和第二处理模块103。
[0100]
所述第一获取模块101，用于获取包括第一植物的第一图片；
[0101]
所述第一处理模块102，用于将所述第一图片输入到图像分割网络，获取所述第一图片的感兴趣区域；
[0102]
所述第二处理模块103，用于将所述感兴趣区域输入到预设的神经网络模型中，通过神经网络模型提取感兴趣区域的绿度信息，并将所述绿度信息和神经网络模型中植物不同生长时间的绿度信息曲线进行比较，得到所述第一图片中植物所处的生长时间。
[0103]
在本实施例中，所述获取包括第一植物的第一图片，具体为：
[0104]
获取一张包括第一植物的第二图片，调整所述第二图片的尺寸和分辨率，使所述第二图片符合用于训练所述神经网络模型的数据标准，得到第一图片。
[0105]
由于实施2是在实施例1的基础上进行撰写的，因此部分和实施例1中相同的技术内容不在赘述。
[0106]
综上，本发明实施例一种识别植被生长时间的方法及装置与现有技术相比，其有益效果在于：通过提取第一图片的绿度信息并将所述绿度信息和预设的神经网络所生成的绿度信息曲线进行比较，可以更加准确的判断第一图片中第一植物所处的生长时间。
[0107]
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和替换，这些改进和替换也应视为本发明的保护范围。