一种基于深度神经网络的无人机遥感农作物异常检测方法及系统与流程

摘要: 本发明涉及无人机遥感领域,尤其涉及基于深度神经网络的无人机遥感农作物异常检测方法及系统。背景技术:1、规模化大田农业生产过程中,作物在全生育期易受病虫害侵扰、水...
一种基于深度神经网络的无人机遥感农作物异常检测方法及系统与流程

本发明涉及无人机遥感领域,尤其涉及基于深度神经网络的无人机遥感农作物异常检测方法及系统。

背景技术:

1、规模化大田农业生产过程中,作物在全生育期易受病虫害侵扰、水肥供给失衡、极端气象胁迫等因素影响,出现长势衰退、局部枯萎等异常状况,若无法早期识别、及时干预,极易造成病害扩散、大面积减产,严重影响粮食生产稳定性与农田精细化管理水平。传统农田异常监测主要依赖人工田间巡查,存在覆盖范围有限、巡检效率低、人力成本高、主观误差大等弊端,且作物早期生理胁迫仅体现为叶绿素、含水率等微观指标异变,外观无明显特征,人工目视难以识别隐性异常,普遍存在发现滞后、漏检率高的问题,无法适配大面积农田常态化、高精度动态监测的生产需求。

2、当前无人机多光谱遥感技术凭借覆盖范围广、无损采集、时效性强的优势,逐步替代传统人工巡检,成为农情监测的主流手段。现有监测方法多基于单时相多光谱影像提取ndvi植被指数,通过固定阈值比对判定作物异常,仅能识别作物表面干旱(湿地水分不足)衰败区域,存在明显技术短板。其中,现有技术多聚焦单一像元的时序数据独立分析,忽略农田地块的空间邻接关联性与不同长势区域的物候交互特性,无法挖掘农田全域时空关联特征,异常判定维度单一、精度不足。

技术实现思路

1、本发明的目的在于提供一种基于深度神经网络的无人机遥感农作物异常检测方法及系统,解决了现有技术中指出的上述技术问题。

2、本发明提供了一种基于深度神经网络的无人机遥感农作物异常检测方法,具体操作方法包括:

3、按照固定时间间隔利用无人机搭载的多光谱传感器采集农田目标区域的多光谱影像序列;对所述多光谱影像序列进行预处理,得到多时相ndvi时间序列数据集;

4、根据所述多时相ndvi时间序列数据集获取所有时间节点的ndvi值,利用所述ndvi值构建每个像元的ndvi时序曲线向量;利用所述ndvi时序曲线向量计算像元的累积距离,构建dtw距离矩阵;根据所述dtw距离矩阵对内部像元进行合并,得到作物生长模式簇;对所述作物生长模式簇内的像元连接,构建多关系异质图结构;对所述多关系异质图结构识别下一时间节点t+1的像元的农作物异常区域。

5、较佳地,根据所述多时相ndvi时间序列数据集获取所有时间节点的ndvi值,利用所述ndvi值构建每个像元的ndvi时序曲线向量;利用所述ndvi时序曲线向量计算像元的累积距离,构建dtw距离矩阵,具体操作步骤如下:

6、将时间间隔作为时间节点,获取所述多时相ndvi时间序列数据集中农田目标区域中的所有像元在所有时间节点上的ndvi值;对该像元的首个时间节点的ndvi值,按照时间节点的采集农田目标区域的顺序,构建每个像元的ndvi时序曲线向量;随机获取两个像元对应的ndvi时序曲线向量的长度;根据该长度预先构建距离累计矩阵;

7、计算第一像元的ndvi时序曲线向量的第一时间节点的ndvi值与第二像元的ndvi时序曲线向量的第二时间节点的ndvi值之间的差值绝对值,作为局部距离;根据所述距离累计矩阵的第一单位元素筛选第一单位元素的相邻上方、相邻左方、相邻左上方的最小累积距离;遍历所述距离累计矩阵中的每个单位元素,将所述距离累计矩阵最后一个的单位元素的累积距离作为dtw距离值;

8、获取所有像元两两之间计算的dtw距离值,构建dtw距离矩阵。

9、较佳地,根据所述dtw距离矩阵对内部像元进行合并,得到作物生长模式簇,具体操作步骤如下:

10、根据所述dtw距离矩阵对内部每个像元进行聚类算法的预设初始化聚类簇;对该像元的初始化聚类簇与其余像元的初始化聚类簇进行全部合并,得到新的初始化聚类簇;对所述新的初始化聚类簇中的每个像元的ndvi时序曲线向量逐时间节点的计算ndvi值的平均ndvi值,得到平均曲线;计算每个像元的平均曲线与ndvi时序曲线向量之间的欧氏距离,计算欧式距离之和,作为簇内离散度;

11、利用所述簇内离散度计算任意两个新的初始化聚类簇合并后的合并代价;筛选最小值的合并代价的两个新的初始化聚类簇进行合并,得到新合并的初始化聚类簇;重复上述步骤获取新合并的初始化聚类簇,若所述新合并的初始化聚类簇的个数达到预设的目标数量值,将所有新合并的初始化聚类簇,作为作物生长模式簇。

12、较佳地,对所述作物生长模式簇内的像元连接,构建多关系异质图结构,具体操作步骤如下:

13、对同一作物生长模式簇中所有相邻的两个像元计算ndvi时序曲线向量之间的皮尔逊相关系数;若所述皮尔逊相关系数大于预设的关系阈值,则将该相邻的两个像元作为像元节点,形成同质空间边,将该皮尔逊相关系数作为同质空间边的权重值;

14、对不同作物生长模式簇,且两个像元相邻,则对该两个像元提取平均曲线;分别筛选两个像元的平均曲线中的最大值的ndvi值得对应时间节点,计算时间节点的时间差值,作为物候相位差异系数;计算该两个像元的直线距离,作为空间邻近距离;将该不同作物生长模式簇的两个相邻像元作为像元节点,形成异质交互边;利用所述物候相位差异系数与空间邻近距离对所述异质交互边赋予权重值;利用赋予权重值的所述同质空间边与异质交互边共同建立作物异质图网络;

15、将所述作物异质图网络中的每个像元节点的作物生长模式簇作为节点类型;筛选同质空间边的节点类型作为源节点类型标识与目标节点类型标识;将所有源节点类型标识与目标节点类型标识按照顺序进行拼接,得到边类型标识符,将该边类型标识符赋值给当前的同质空间边;筛选异质交互边的节点类型作为源节点类型标识与目标节点类型标识;将所有源节点类型标识与目标节点类型标识按照顺序进行拼接,得到边类型标识符,将该边类型标识符赋值给当前的异质交互边,形成最终的多关系异质图结构。

16、较佳地,对所述多关系异质图结构识别下一时间节点t+1的像元的农作物异常区域,具体操作步骤如下:

17、根据所述多关系异质图结构中的像元节点的各个波段上的反射率数值获取植被指数特征向量与多光谱特征向量;将所述ndvi时序曲线向量与植被指数特征向量作为初始输入特征向量;根据所述初始输入特征向量与多光谱特征向量以及边类型标识符对所述像元节点获取特征组合向量;对所述特征组合向量经过预设的单层前馈神经网络的分析,获取深度表型特征表征向量;获取当前时间节点t的该像元节点的深度表型特征表征向量预测下一时间节点t+1的农作物异常区域。

18、较佳地,根据所述多关系异质图结构中的像元节点的各个波段上的反射率数值获取植被指数特征向量与多光谱特征向量,具体操作步骤如下:

19、根据所述多关系异质图结构中的像元节点在所述农田目标区域中确定坐标位置,获取ndvi时序曲线向量;在每张多光谱影像中提取该像元节点对应的各个波段上的反射率数值;利用各个波段中的近红外波段与红光波段的反射率数值计算商值,作为比值植被指数;对所述近红外波段与红光波段的反射率数值进行求和,将该求和与差值以及预设的土壤调节常数进行计算,得到土壤调节植被指数值;利用各个波段中的近红外波段与红光波段以及蓝光波段的反射率数值计算增强型植被指数值;

20、将所述比值植被指数值、差值植被指数值、土壤调节植被指数值、增强型植被指数值作为植被指数特征向量;

21、将所述ndvi时序曲线向量与植被指数特征向量进行合并,作为初始输入特征向量;利用各个波段中的近红外波段与红光波段的反射率数值计算差值,作为该像元节点的多光谱特征向量。

22、较佳地,将所述ndvi时序曲线向量与植被指数特征向量作为初始输入特征向量;根据所述初始输入特征向量与多光谱特征向量以及边类型标识符对所述像元节点获取特征组合向量;对所述特征组合向量经过预设的单层前馈神经网络的分析,获取深度表型特征表征向量,具体操作步骤如下:

23、预先构建异质图注意力网络模型,确定所述异质图注意力网络模型中的图注意力层层数;获取所有边类型标识符对应的源节点类型标识和目标节点类型标识;将所述边类型标识符与源节点类型标识输入至第一层图注意力层中中,输出边类型投影矩阵与节点类型投影矩阵;

24、对该像元节点获取在所述多关系异质图结构中所有的相邻源节点类型标识,作为邻居源节点;获取该像元节点与邻居源节点的多光谱特征向量以及获取对应边的边类型标识符;将所述邻居源节点的多光谱特征向量输入至对应的节点类型投影矩阵中进行投影,再将投影后的邻居源节点的多光谱特征向量输入至对应的边类型投影矩阵中进行线性变换,得到源节点特征表示;将该像元节点的多光谱特征向量输入至对应的节点类型投影矩阵中进行投影,得到边类型特征表示;将所述源节点特征表示与边类型特征表示进行拼接,得到特征组合向量;

25、将所述特征组合向量输入至预先构建的单层前馈神经网络中,输出原始关注度数值;将该像元节点的所有邻居源节点的原始关注度数值进行归一化操作,得到像元节点与邻居源节点之间的边类型感知注意力权重;计算所述邻居源节点的源节点特征表示与对应的边类型感知注意力权重的乘积,并进一步的计算所有邻居源节点的乘积之和,作为该像元节点在所述第一层图注意力层输出的聚合向量;将该第一层图注意力层输出的聚合向量作为新的多光谱特征向量输入至异质图注意力网络模型中的其余图注意力层中,重复上述步骤,输出该像元节点的深度表型特征表征向量。

26、较佳地,获取当前时间节点t的该像元节点的深度表型特征表征向量预测下一时间节点t+1的农作物异常区域,具体操作步骤如下:

27、获取当前时间节点t的该像元节点的深度表型特征表征向量,利用预先构建的门控循环单元gru网络中进行分析,获取下一时间节点t+1的预测深度表型特征表征向量;对所述下一时间节点t+1采集获取农田目标区域的多光谱影像,并进行获取真实深度表型特征表征向量;根据所述预测深度表型特征表征向量与真实深度表型特征表征向量计算偏差的第一标记值与第二标记值;根据所述第一标记值与第二标记值计算像元的加权融合分数,获取像元的连通域的农作物异常区域。

28、较佳地,获取当前时间节点t的该像元节点的深度表型特征表征向量,利用预先构建的门控循环单元gru网络中进行分析,获取下一时间节点t+1的预测深度表型特征表征向量,具体操作步骤如下:

29、获取当前时间节点t的该像元节点的深度表型特征表征向量作为条件向量;将该条件向量输入至预先构建的条件编码器中,输出条件调制参数向量;确定该像元节点的作物生长模式簇,获取该像元节点当前时间节点t与该像元节点过去所有历史时间节点的历史深度表型特征表征向量;

30、预先构建门控循环单元gru网络;将所述门控循环单元gru网络中的隐状态向量初始化一个全零向量;筛选历史首时间节点的历史深度表型特征表征向量输入至所述门控循环单元gru网络中的第一时间步,并获取上一时间步的全零向量;

31、利用所述条件调制参数向量中的缩放向量与平移向量以及第一时间步的历史深度表型特征表征向量进行计算,得到更新门的偏置调节项;利用该更新门的偏置调节项与上一时间步的隐状态向量进行计算,得到更新门的门控值;利用所述条件调制参数向量中的缩放向量与平移向量以及第一时间步的历史深度表型特征表征向量进行计算,得到重置门的偏置调节项;利用该更新门的偏置调节项与上一时间步的隐状态向量进行计算,得到重置门的门控值;

32、利用所述更新门的门控值与重置门的门控值以及第一时间步的历史深度表型特征表征向量以及上一时间步的全零向量进行计算,得到第一时间步的隐状态向量;将历史第二时间节点的历史深度表型特征表征向量输入至门控循环单元gru网络中的第二时间步,并重复上述步骤,得到最后一个时间步输出的隐状态向量;提取所述门控循环单元gru网络中最后一个时间步输出的隐状态向量;将该隐状态向量输入至预先构建的预测解码器中,得到该像元节点的下一时间节点t+1的预测深度表型特征表征向量。

33、较佳地,对所述下一时间节点t+1采集获取农田目标区域的多光谱影像,并进行获取真实深度表型特征表征向量;根据所述预测深度表型特征表征向量与真实深度表型特征表征向量计算偏差的第一标记值与第二标记值;根据所述第一标记值与第二标记值计算像元的加权融合分数,获取像元的连通域的农作物异常区域,具体操作步骤如下:

34、当所述下一时间节点t+1时,对所述无人机搭载的多光谱传感器采集农田目标区域的多光谱影像,并获取每个像元在时间节点t+1的真实深度表型特征表征向量;在所述下一时间节点t+1中的多光谱影像中选取第一像元的预期深度表型特征表征向量;并同时获取真实深度表型特征表征向量;对所述预期深度表型特征表征向量和真实深度表型特征表征向量进行逐维度差分计算,得到偏差向量;将所述偏差向量中的第一维度作为当前遍历的目标维度;获取该第一像元的作物生长模式簇在历史时间节点中的偏差向量,作为历史偏差向量;计算历史时间节点的历史偏差向量的平均偏差向量与标准差向量;利用所述平均偏差向量与标准差向量以及预设的倍数系数计算动态阈值;若所述偏差向量大于动态阈值,则将该偏差向量的目标维度作为第一标记值;若所述偏差向量小于或等于动态阈值,则将该偏差向量的目标维度作为第二标记值;遍历所述偏差向量中的所有维度作为目标维度,获取所有目标维度的第一标记值与第二标记值;

35、将该像元的所有维度的第一标记值与对应的预设的权重值;将该像元的加权融合分数输入至预先构建的概率映射函数中,得到像元的综合异常概率;预设异常概率阈值;若像元的综合异常概率大于异常概率阈值,则将该像元作为候选异常像元;将所有连通域的候选异常像元进行合并,形成异常连通区域;计算所述异常连通区域的区域面积;若所述区域面积大于预设的最小区域面积阈值,则将该异常连通区域作为农作物异常区域。

36、与现有技术相比,本发明实施例至少存在如下方面的技术优势:

37、分析本发明提供的上述一种基于深度神经网络的无人机遥感农作物异常检测方法及系统可知,在具体应用时通过固定周期无人机多光谱采样,搭配辐射校正与几何配准处理,消除光照、大气干扰与影像空间错位问题,保证多时相影像数据具备横向、纵向可比性,根据标准化ndvi指数构建像元ndvi的时序数据集,精准记录作物全生育期生长节律变化,为后续异常判别提供统一、可靠的基础数据支撑,规避传统单时相检测易受瞬时环境干扰的缺陷;

38、进一步的,本方案根据ndvi时序数据集构建逐像元ndvi时序曲线向量,采用动态时间规整方式计算时序累积距离并生成dtw距离矩阵,可适配田间播种时差、物候小幅偏移的复杂场景,精准量化不同地块生长节律相似度,相比传统固定时序匹配方式有效降低生长模式误判概率;基于距离矩阵聚类合并同类像元,划分多类作物生长模式簇,精准区分正常长势、受胁迫长势及裸地区域,无需人工干预即可完成农田全域分区,大幅精简后续数据处理体量;方案通过构建同质空间边与异质交互边搭建多关系异质图结构,同步融合作物时序生长规律与地块空间邻接关联,完整还原农田区域的生长连续性与跨区域物候交互特征,弥补单一维度分析信息缺失的不足;最终结合区域生长基准与实测特征偏差校验,精准甄别偏离正常生长节律的连片胁迫区域,有效过滤成像噪声、局部裸土等伪异常干扰,稳定识别病虫害、干旱、缺肥等各类作物异常区域。