一种基于无人机多模态影像的谷子穗叶尺度产量预测方法
本发明属于农业遥感与作物表型分析,尤其涉及一种基于无人机多模态影像的谷子穗叶尺度产量预测方法。
背景技术:
1、作物产量预测是保障粮食安全、指导精准农业管理和辅助育种决策的关键环节。传统方法依赖于人工田间观察和破坏性取样考种,存在劳动强度大、效率低下、主观性强等局限性,难以满足现代育种对高通量、高精度表型数据的需求。近年来,无人机遥感技术的发展为这一困境提供了变革性工具。通过集成rgb、多光谱和热红外传感器,无人机平台能够在田间小区尺度同步获取作物的结构、光谱和温度信息。现有研究已广泛利用这些数据提取植被指数如ndvi、冠层温度、纹理特征及结构参数,并结合随机森林、支持向量回归等机器学习模型构建产量预测模型。在小麦、玉米、水稻等主要作物上,该方法虽取得了一定进展,但其核心逻辑是将作物冠层视为一个光谱和结构均一的混合体,进而提取整个冠层的平均信号作为预测变量。
2、然而,这种均质冠层假设构成了制约预测精度和模型可解释性的根本性瓶颈。首先,冠层的混合光谱实质上是叶片、穗、茎秆、土壤及阴影等多组分信号的叠加,这一混合效应严重掩盖了不同器官尤其是作为源的叶片和作为库的穗对水分胁迫及环境变化的特异性生理响应,导致模型缺乏机理解释能力。其次,尽管深度学习技术如u-net++已被尝试用于穗部检测,但现有流程大多止步于分割精度的验证,未能系统地将器官尺度的精细表型信息如穗部专属温度、叶片光谱整合进产量预测的完整链路中。最后,当前多模态特征融合策略普遍倾向于提取海量特征包括颜色、光谱、纹理、温度等数十至上百个,并依赖递归特征消除等封装式方法寻找单一最优子集。此类方法隐含了特征独立贡献的假设,忽视了特征间固有的协同互补结构,且无法刻画预测误差随特征增加而变化的边际收益递减动态规律,极易引发维度灾难和过拟合,导致模型泛化能力不足。此外,现有研究对密度特征如穗面积、叶面积在产量形成关键期的独立贡献缺乏系统性评估,更未揭示不同生长阶段主导预测因子的动态演变规律。
技术实现思路
1、为解决上述技术问题,本发明提出了一种基于无人机多模态影像的谷子穗叶尺度产量预测方法,以解决上述现有技术存在的问题。
2、为实现上述目的,本发明提供了一种基于无人机多模态影像的谷子穗叶尺度产量预测方法,包括:
3、获取谷子关键生育期的无人机多模态影像,所述多模态影像至少包括rgb影像、多光谱影像和热红外影像;
4、对所述多模态影像进行预处理,得到rgb正射影像、多光谱正射影像、热红外正射影像和冠层掩膜;
5、采用语义分割模型对所述rgb正射影像进行分割,得到穗部掩膜,基于所述冠层掩膜和所述穗部掩膜得到叶片掩膜;
6、基于所述冠层掩膜、穗部掩膜和叶片掩膜,在冠层尺度、穗尺度和叶片尺度分别提取多模态特征,并将穗尺度与叶片尺度的特征融合,得到冠层特征集、穗特征集、叶片特征集和穗-叶融合特征集;
7、对各特征集分别进行渐进式特征选择,得到各特征集对应的最优特征子集;
8、基于各所述最优特征子集分别训练产量预测模型得到最终模型,基于所述最终模型,得到目标田块的产量预测结果。
9、可选地,对所述多模态影像进行预处理的过程包括:
10、采用运动恢复结构重建、几何校正和正射校正对所述rgb影像和所述多光谱影像进行处理,得到rgb正射影像和多光谱正射影像;
11、采用辐射定标将所述多光谱正射影像的像素值转换为绝对反射率;
12、采用dji thermal sdk将所述热红外影像的原始r-jpeg文件转换为含逐像素温度值的geotiff图像,并生成热红外正射影像;
13、采用归一化差值冠层阴影指数结合otsu阈值分割对所述多光谱正射影像去除土壤和阴影像素,得到冠层掩膜。
14、可选地,采用语义分割模型对所述rgb正射影像进行分割,得到穗部掩膜的过程包括:
15、采用绿-蓝双通道线性拉伸对所述rgb正射影像进行预处理,增强影像中穗部与背景的对比度,得到增强影像;
16、基于所述增强影像,采用u-net++模型进行穗部像素级分割,得到所述穗部掩膜;
17、所述u-net++模型以不同水分处理、不同品种和不同生育期的标注rgb影像块作为训练数据,并经随机翻转、旋转和亮度调整进行数据增强后训练得到。
18、可选地,基于所述冠层掩膜、穗部掩膜和叶片掩膜,得到冠层特征集、穗特征集、叶片特征集和穗-叶融合特征集的过程包括:
19、基于所述冠层掩膜从所述rgb正射影像提取颜色特征、从所述多光谱正射影像提取光谱特征和纹理特征、从所述热红外正射影像提取温度特征、以及从所述冠层掩膜提取密度特征,得到冠层特征集;
20、基于所述叶片掩膜从所述rgb正射影像提取颜色特征、从所述多光谱正射影像提取光谱特征和纹理特征、从所述热红外正射影像提取温度特征、以及从所述叶片掩膜提取密度特征,得到叶片特征集;
21、基于所述穗部掩膜从所述rgb正射影像提取颜色特征、从所述多光谱正射影像提取光谱特征和纹理特征、从所述热红外正射影像提取温度特征、以及从所述穗部掩膜提取密度特征,得到穗特征集;
22、融合所述叶片特征集与所述穗特征集,得到穗-叶融合特征集。
23、可选地,所述颜色特征包括:过绿指数、过绿减红指数和绿红植被指数;
24、所述光谱特征包括:差值植被指数、土壤调节植被指数、改良土壤调节植被指数、比值植被指数、归一化差值植被指数、优化土壤调节植被指数、绿归一化差值植被指数、绿叶绿素指数、红边叶绿素指数、归一化差值红边指数、两波段增强植被指数、改良叶绿素吸收反射指数、改良叶绿素吸收反射指数与优化土壤调节植被指数的比值、宽动态范围植被指数、红外百分比植被指数和改良简单比值;
25、所述纹理特征为采用灰度共生矩阵对所述多光谱正射影像各波段提取的纹理测度,其中,所述纹理测度包括:均值、方差、同质性、对比度、熵、相异性、二阶矩和相关性;
26、所述温度特征为归一化相对冠层温度指数;
27、所述密度特征包括冠层覆盖度、叶面积和穗面积。
28、可选地,对各特征集分别进行渐进式特征选择,得到各特征集对应的最优特征子集的过程包括:
29、采用基于随机森林的gini重要性对各特征集内的所有特征进行重要性排序,得到降序排列的有序特征列表;
30、按照所述有序特征列表的顺序依次累加特征,构建递增特征子集序列;
31、分别采用随机森林、极端梯度提升和支持向量回归三种回归模型对每个所述递增特征子集进行训练,并在测试集上评估各递增特征子集对应的均方根误差,生成均方根误差随特征数量变化的曲线;
32、对特征数量序列和均方根误差序列分别进行归一化,采用kneedle算法检测归一化后曲线的曲率最大点;
33、以曲率最大点对应的特征数量确定最优特征数量,输出对应的递增特征子集作为所述最优特征子集。
34、可选地,基于各所述最优特征子集分别训练产量预测模型得到最终模型的过程包括:
35、采用各所述最优特征子集分别训练随机森林、极端梯度提升和支持向量回归模型,得到各尺度各模型对应的训练后模型;
36、采用验证集对各训练后模型进行预测精度评估,选取预测精度最高的训练后模型作为最终模型;
37、将目标田块的多模态影像提取对应的最优特征子集后输入所述最终模型,得到所述目标田块的产量预测结果。
38、与现有技术相比,本发明具有如下优点和技术效果:
39、本发明通过无人机多模态影像获取谷子关键生育期的rgb、多光谱和热红外数据,结合穗-叶精细分割,实现了冠层、叶片和穗尺度多模态特征的独立提取与融合,有效解耦了冠层混合信号对产量预测的干扰。通过对各尺度特征集分别进行渐进式特征选择,自动识别最优特征子集,避免了传统递归特征消除方法的维度灾难和过拟合问题,在保证预测精度的同时大幅缩减特征数量,显著降低了特征冗余。基于各尺度最优特征子集分别训练预测模型并择优输出,进一步提升了模型在不同年份和不同水分处理条件下的适应能力,增强了产量预测的准确性和稳定性。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com