一种基于无人机航拍原片的松材线虫病疫木识别定位方法与流程

1.本发明涉及松材线虫病图像识别定位的技术领域，具体的说，尤其是一种基于无人机航拍原片的松材线虫病疫木识别定位方法。


背景技术：

2.松材线虫病，又称松树萎蔫病，是由松材线虫引起的具有毁灭性的森林病害，，被其感染后的松树，针叶呈黄褐色或红褐色，萎蔫下垂，树脂分泌停止，逐渐干枯死亡，最终腐烂，由于松材线虫致病力强，寄主死亡速度快，传播快，山林面积大，难以及时发现，治理难度大。
3.由于染病的松材线虫疫木呈现黄褐色或红褐色，针叶逐渐枯萎，外观上和正常松树以及山林中的其它树种存在区别，因此当前也有使用无人机航拍技术获取山林图像，并基于深度学习技术对疫木进行智能识别的解决方案。
4.现有解决方案主要有两种类型：（1）直接在无人机航拍原片上进行疫木识别。该方案利用无人机获取目标山林区域的航拍图像，使用各种深度学习算法模型直接在航拍图像原片上进行松材线虫病疫木检测识别。
5.而直接在无人机航拍原片上进行疫木识别技术方案的缺点：无人机在采集山林图像时，拍摄的单张原片虽然也可以根据gps信号获取拍摄该张原片时无人机所处位置的经纬度信息，然而由于受无人机飞行角度航线规划及当时风向的影响，该经纬度坐标无法精确定位到该张图像的正中心位置，同时由于山林地形起伏不平，无法精确将原片中的每个像素位置和经纬度坐标进行一一对应，难以对识别出的疫木进行精确经纬度定位，相邻原片中同株疫木无法精准匹配去重，因此虽然疫木识别效果较好，但是无法做到对区域范围内的疫木进行准确数量和分布统计。
6.（2）在拼接后附带经纬度坐标信息的正射图片上进行疫木识别定位。该方案首先用无人机采集山林的航拍图像，相邻的航拍图像原片间要有较大的重叠，并每隔一段距离在地面设置相控点，获取无人机航拍原片后，利用图像拼接软件或算法将原片拼接成附带经纬度坐标信息的大范围山林区域正射图像，正射图中的每个像素点都可获取精确的经纬度坐标信息，然后，利用深度学习算法模型在拼接后正射图像上进行松材线虫病疫木识别和定位，统计目标山林范围内松材线虫病疫木的数量和分布情况。
7.而在拼接后的正射图像片上进行识别定位技术方案的缺点：在将无人机航拍原片进行匹配拼接的过程中，由于相邻原片的拍摄位置不同、存在视角畸变、匹配不够精准、外部风向导致的树叶摇动等影响，拼接产生的正射图像存在虚影、模糊等现象，图像质量相较无人机拍摄的原片有一定程度的下降，导致该类方案虽能对图像中的各个像素位置进行精确经纬度定位，但是对疫木的识别准确率有较大的影响。


技术实现要素：

8.为了克服现有技术存在的缺陷，本发明提供一种基于无人机航拍原片的松材线虫病疫木识别定位方法，通过在航拍原片上识别出疫木后，在原疫木位置嵌入特殊标记，并在拼接后的正射图像中识别定位特殊标记的方式，实现超大范围山林区域精确到株的松材线虫病疫木的识别和定位，以解决上述的问题。
9.本发明解决其技术问题所采用的技术方案是：一种基于无人机航拍原片的松材线虫病疫木识别定位方法，包括以下步骤：（1）通过无人机搭载相机航拍方式，采集到某一山林区域范围内的航拍图像原片，挑选其中部分包含松线材虫疫木的图像作为疫木训练样本，然后通过图像标注工具标注疫木训练样本图像中的疫木；（2）选取合适的基于深度学习技术的物体检测模型作为疫木识别模型，并用步骤（1）产生的疫木训练样本对该疫木识别模型进行训练；（3）利用步骤（2）中训练的疫木识别模型对所有航拍图像原片的图像进行疫木检测识别，获取每张航拍图像原片的图像中的所有疫木及其位置信息；（4）在步骤（3）中获取的每张航拍图像原片的图像的疫木位置处嵌入特征明显的特殊标记，并用图像拼接软件或算法将嵌入特殊标记后的所有航拍图像原片拼接成带经纬度坐标的正射图像；（5）挑选正射图像中部分包含特殊标记的图像作为特殊标记训练样本，通过图像标注工具标注该特殊标记训练样本图像中的特殊标记；（6）选取合适的基于深度学习技术的物体检测模型作为特殊标记识别模型，并用步骤（5）中产生的特殊标记训练样本对该特殊标记识别模型进行训练；（7）利用步骤（6）中训练的特殊标记识别模型对所有正射图像进行特殊标记识别，获取正射图像中的所有特殊标记及其位置信息；（8）将步骤（7）中产生的特殊标记的坐标信息转换成经纬度坐标，获取目标山林范围内的疫木数量以及每株疫木的经纬度，实现精确到株的疫木识别和定位。
10.优选的，所述步骤（1）中的疫木训练样本的获取方法包括预先确定目标山林区域范围，规划设置航线，并在地面设置若干相控点，无人机在固定海拔高度匀速飞行，无人机搭载相机每隔固定时间拍摄一张山林区域原片获取到所有原片后，将每张原片均匀切割为768*768像素的小图，然后随机挑选部分原片切分出的小图，并利用图像标注工具labelimg将图中所有疫木进行手动框选，得到疫木训练样本。
11.优选的，所述步骤（2）中的疫木识别模型选取yolov4物体检测模型作为疫木识别的基准模型，该yolov4物体检测模型最后一层全连接层的值设为2，用于代表当年新发疫木和往年疫木两种疫木类型，所有疫木训练样本以4：1：1的比较划分为训练集、验证集和测试集，通过训练集来计算损失函数并进行反向传播更新模型参数，通过验证集来调优模型的各个超参数，最后用测试集来测试模型在该疫木训练样本数据集下的识别准确率。
12.优选的，所述步骤（3）中的疫木检测识别的方法包括将无人机拍摄的所有航拍图像原片进行切分，每张原片都均匀切分成768*768像素的小图，并将这些小图输入训练好的疫木识别模型进行疫木识别，疫木识别模型输出为疫木识别框在小图中的像素位置、疫木种类及置信度，最后根据每张小图在原片中的位置将所有属于该原片的疫木识别框位置转
换为其在原片中的位置。
13.优选的，所述步骤（4）中的嵌入特征明显的特殊标记为半径为20像素的白色实心圆。
14.优选的，所述步骤（4）中将嵌入特殊标记的所有原片导入图像拼接软件或算法中进行拼接，生成带经纬度坐标的正射图像，该正射图像中的每个像素点都对应一个经纬度坐标。
15.优选的，所述步骤（5）中的特殊标记训练样本是通过将获取的正射图像切分成768*768像素的小图，并随机选取若干包含特殊标记的小图作为特殊标记训练样本，所述图像标注工具为labelimg标注工具。
16.优选的，所述步骤（6）中的特殊标记识别模型选取yolov4模型作为特殊标记识别模型，该特殊标记识别模型最后一层全连接层的值设为1。
17.优选的，所述步骤（7）中的对所有正射图像进行特殊标记识别的方法包括将切分后的正射图像小图输入训练好的殊标记识别模型进行识别，殊标记识别模型输出为特殊标记在小图中的像素位置及置信度，也即疫木在各个小图中的像素位置，该置信度阈值设为0.8，最终保留置信度超过该阈值的特殊标记识别结果。
18.优选的，所述步骤（8）中的转换成经纬度坐标方法包括根据小图在正射图像中的像素位置及每张小图中特殊标记的像素位置，求得所有特殊标记中心点在正射图像中的像素位置，并通过像素位置和经纬度坐标的对应关系，获得这些中心点的经纬度坐标。
19.与现有技术相比，本发明的有益效果在于：1、在无人机航拍图像原片上直接进行疫木检测识别，由于原片的图像质量较高，疫木的识别准确率更高。
20.2、在原片上识别出疫木后，在疫木位置嵌入自行设计的特殊标记，该类特殊标记在山林中外观特征显著，不易与其它物体混淆，并且在正射图像拼接后依旧能保留其特征。
21.3、在附带精确经纬度信息的正射图像上进行特殊标记的检测识别，能准确获取每个特殊标记的经纬度位置，从而准确统计目标山林区域范围内疫木的数量和分布，实现精确到株的松材线虫病疫木识别和定位。
附图说明
22.图1为本发明的流程图。
23.图2为对航拍图像原片的图像进行疫木检测识别的示意图。
24.图3为嵌入特殊标记后拼接成的正射图像示意图。
25.图4为获得的经纬度坐标数据信息示意图。
具体实施方式
26.下面结合附图对本发明的具体实施方式作进一步说明。在此需要说明的是，对于这些实施方式的说明用于帮助理解本发明，但并不构成对本发明的限定。此外，下面所描述的本发明各个实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互组合。
27.请参阅图1所示的一种基于无人机航拍原片的松材线虫病疫木识别定位方法，包括以下步骤：
（1）通过无人机搭载相机航拍方式，采集到某一山林区域范围内的航拍图像原片，挑选其中部分包含松线材虫疫木的图像作为疫木训练样本，然后通过图像标注工具标注疫木训练样本图像中的疫木；（2）选取合适的基于深度学习技术的物体检测模型作为疫木识别模型，并用步骤（1）产生的疫木训练样本对该疫木识别模型进行训练；（3）利用步骤（2）中训练的疫木识别模型对所有航拍图像原片的图像进行疫木检测识别，获取每张航拍图像原片的图像中的所有疫木及其位置信息；（4）在步骤（3）中获取的每张航拍图像原片的图像的疫木位置处嵌入特征明显的特殊标记，并用图像拼接软件或算法将嵌入特殊标记后的所有航拍图像原片拼接成带经纬度坐标的正射图像；（5）挑选正射图像中部分包含特殊标记的图像作为特殊标记训练样本，通过图像标注工具标注该特殊标记训练样本图像中的特殊标记；（6）选取合适的基于深度学习技术的物体检测模型作为特殊标记识别模型，并用步骤（5）中产生的特殊标记训练样本对该特殊标记识别模型进行训练；（7）利用步骤（6）中训练的特殊标记识别模型对所有正射图像进行特殊标记识别，获取正射图像中的所有特殊标记及其位置信息；（8）将步骤（7）中产生的特殊标记的坐标信息转换成经纬度坐标，获取目标山林范围内的疫木数量以及每株疫木的经纬度，实现精确到株的疫木识别和定位。
28.所述步骤（1）中的疫木训练样本的获取方法包括预先确定目标山林区域范围，规划设置航线，并在地面设置若干相控点，无人机在固定海拔高度匀速飞行，无人机搭载相机每隔固定时间拍摄一张山林区域原片获取到所有原片，为使后续的正射图像拼接具有较高精度，相邻的原片间具有较大的航向重叠率，相邻的航线间有一定的旁向重叠率；获取到所有原片后，将每张原片均匀切割为768*768像素的小图，然后随机挑选部分原片切分出的小图，并利用图像标注工具。
29.所述步骤（2）中的疫木识别模型选取识别准确率较高且识别速度较快的yolov4物体检测模型作为疫木识别的基准模型，为使疫木训练样本具有多样性和更广泛的代表性，训练图片进行了基于颜色空间变化和形状变化的数据增广策略，主要包括在对比度、饱和度上的随机变化以及随机旋转、随机左右翻转和上下翻转、随机尺度缩放；因为疫木训练样本在分类时分为当年新发疫木和往年疫木两类，因此将yolov4物体检测模型最后一层全连接层的值设为2，用于代表当年新发疫木和往年疫木两种疫木类型，所有疫木训练样本以4：1：1的比较划分为训练集、验证集和测试集，通过训练集来计算损失函数并进行反向传播更新模型参数，通过验证集来调优模型的各个超参数，最后用测试集来测试疫木识别模型在该疫木训练样本数据集下的识别准确率。
30.如图2所示，所述步骤（3）中的疫木检测识别的方法包括将无人机拍摄的所有航拍图像原片进行切分，每张原片都均匀切分成768*768像素的小图，并将这些小图输入训练好的疫木识别模型进行疫木识别，疫木识别模型输出为疫木识别框在小图中的像素位置、疫木种类及置信度，最后根据每张小图在原片中的位置将所有属于该原片的疫木识别框位置转换为其在原片中的位置。
31.参见图3的嵌入特殊标记后拼接成的正射图像示意图，所述步骤（4）中为每张航拍
图像原片的图像的疫木位置处嵌入特征明显的特殊标记，由于相邻原片中重叠部分较多，存在一株疫木被多次重复识别的情况，由于单张原片无法做到精确经纬度定位，因此难以直接在原片上进行去重；在原片上识别出疫木像素位置后，将特殊标记嵌入所有识别框的中心点；特殊标记的选择要考虑到：一是在山林区域特征明显，和现有各类物体外观存在显著差异；二是即使在原片拼接成正射图像过程中导致的特殊标记发生各种拉伸变形以及截断依旧能正常识别；三是嵌入的特殊标记本身不能对图像配准拼接产生明显影响。考虑到以上3点，嵌入特征明显的特殊标记选取为半径为20像素的白色实心圆，需要说明的是，也可选择其它任何符合上述三项要求的物体作为特殊标记。将嵌入特殊标记的所有原片导入图像拼接软件或算法中进行拼接，生成带经纬度坐标的正射图像，该正射图像涵盖的范围可达数百平方公里，像素值数百亿像素，该正射图像中的每个像素点都对应一个经纬度坐标。
32.所述步骤（5）中的特殊标记训练样本是通过将获取的正射图像切分成768*768像素的小图，并随机选取若干包含特殊标记的小图作为特殊标记训练样本，因为在正射图像拼接过程中可能存在对原片的畸变矫正以及原片小图切分过程中将某疫株切分到不同小图中，拼接处的特殊标记存在一定程度的形变和不完整，在选取标注样本时尽可能包含各种场景；所述图像标注工具为labelimg标注工具，将样本图片中所有特殊标记进行手动框选。
33.所述步骤（6）中的特殊标记识别模型选取yolov4模型作为特殊标记识别模型，在步骤（5）中，特殊标记在拼接过程中存在形状变化，训练前进行图像的数据增广，增广策略主要包括随机旋转、随机左右翻转和上下翻转、随机拉伸；由于特殊标记只选取一类，该特殊标记识别模型最后一层全连接层的值设为1；数据集划分方式和模型参数训练流程和步骤（2）中训练疫木模型类似，即划分为训练集、验证集和测试集，通过训练集来计算损失函数并进行反向传播更新模型参数，通过验证集来调优模型的各个超参数，最后用测试集来测试特殊标记识别模型在该特殊标记训练样本数据集下的识别准确率。
34.所述步骤（7）中的对所有正射图像进行特殊标记识别的方法包括将切分后的正射图像小图输入训练好的殊标记识别模型进行识别，殊标记识别模型输出为特殊标记在小图中的像素位置及置信度，也即疫木在各个小图中的像素位置，该置信度阈值设为0.8，最终保留置信度超过该阈值的特殊标记识别结果，降低特殊标记识别模型的误识别率。
35.所述步骤（8）中的转换成经纬度坐标方法包括根据小图在正射图像中的像素位置及每张小图中特殊标记的像素位置，求得所有特殊标记中心点在正射图像中的像素位置，并通过像素位置和经纬度坐标的对应关系，获得这些中心点的经纬度坐标，从而得到目标山林范围内的疫木数量以及每株疫木的经纬度坐标分布，实现精确到株的疫木识别和定位，如图4所示，图中每行数据包括4项信息，每项信息用空格符号分隔，从左往右分别为疫木类型（1表示当年新发疫木，2表示往年疫木）、经度、纬度、以及置信度，其中置信度越高表示模型认为该处为疫木的可能性越大。
36.本发明在无人机航拍图像原片上直接进行疫木检测识别，由于原片的图像质量较高，疫木的识别准确率更高；在原片上识别出疫木后，在疫木位置嵌入自行设计的特殊标记，该类特殊标记在山林中外观特征显著，不易与其它物体混淆，并且在正射图像拼接后依旧能保留其特征；在附带精确经纬度信息的正射图像上进行特殊标记的检测识别，能准确
获取每个特殊标记的经纬度位置，从而准确统计目标山林区域范围内疫木的数量和分布，实现精确到株的松材线虫病疫木识别和定位。
37.以上结合附图对本发明的实施方式作了详细说明，但本发明不限于所描述的实施方式。对于本领域的技术人员而言，在不脱离本发明原理和精神的情况下，对这些实施方式进行多种变化、修改、替换和变型，仍落入本发明的保护范围内。