一种基于无人机边缘计算的麦穗实时检测方法及系统

摘要: 本发明涉及麦穗检测,尤其是涉及一种基于无人机边缘计算的麦穗实时检测方法及系统。背景技术:1、小麦是全球最重要的粮食作物之一,其产量稳定性直接关系到粮食安全。麦穗...
一种基于无人机边缘计算的麦穗实时检测方法及系统

本发明涉及麦穗检测,尤其是涉及一种基于无人机边缘计算的麦穗实时检测方法及系统。

背景技术:

1、小麦是全球最重要的粮食作物之一,其产量稳定性直接关系到粮食安全。麦穗检测是小麦产量预估和空间分布监测的核心环节,通过准确统计单位面积内的麦穗数量,结合品种特性(如千粒重),可有效推算最终产量。传统的麦穗调查主要依赖人工田间计数,存在以下显著缺陷:(1)耗时费力,难以覆盖大规模农田;(2)结果受调查人员经验、采样范围和主观判断影响大,可重复性差;(3)无法实现连续、动态的生育期监测。

2、近年来,基于无人机低空遥感和深度学习的作物表型检测方法逐渐兴起。无人机搭载高分辨率rgb相机,可快速获取大面积麦田的冠层图像,结合目标检测算法自动识别和计数麦穗。然而,现有技术方案仍面临以下关键瓶颈:

3、(1)云端处理模式的延迟问题。现有方案多采用“无人机采集→地面站/云端传输→离线处理”的工作流程,数据传输延迟高,无法满足实时检测需求,且农田环境往往位于偏远地区,网络条件不稳定,云端处理方案不可靠。

4、(2)复杂田间环境下检测精度不足。麦穗具有细长形态,成熟期易下垂交叉;高密度种植下相邻麦穗严重粘连;麦穗与叶片、茎秆、土壤背景在颜色和纹理上高度相似;此外,无人机飞行过程中的光照变化、运动模糊、拍摄角度差异等因素进一步加剧了检测难度。现有基于纯cnn的轻量级检测器(如yolo系列)在简单场景下有效,但在复杂田间环境下易出现漏检和误检;基于transformer的检测器虽具备更强的全局上下文建模能力,但计算开销大,难以在资源受限的边缘设备上实时运行。

5、(3)当前高精度检测模型往往参数规模大、推理速度慢,无法部署在无人机机载的嵌入式gpu平台上;而轻量级模型虽推理速度快,但在复杂田间环境下的鲁棒性和检测精度不足。如何在极少参数和计算开销下,同时实现高精度、高鲁棒性和实时推理,是当前技术面临的核心矛盾。

6、因此,亟需提供一种基于无人机边缘计算的麦穗实时检测方法和系统,能够在无人机机载边缘设备上实时运行、且对复杂田间环境具有高度鲁棒性。

技术实现思路

1、本发明的目的是提供一种基于无人机边缘计算的麦穗实时检测方法及系统,以解决背景技术中提到的问题。

2、为实现上述目的,本发明提供了一种基于无人机边缘计算的麦穗实时检测方法,包括以下步骤:

3、s1、利用无人机,以预设飞行高度和航线采集目标麦田低空遥感图像,获得田间小麦冠层图像;

4、s2、将采集的田间小麦冠层图像实时传输至无人机机载边缘计算设备,对田间小麦冠层图像缩放至固定尺寸并进行归一化处理;

5、s3、通过预设部署在无人机机载边缘计算设备的空频联合检测模型wh-det对处理后的田间小麦冠层图像进行实时边缘检测,输出麦穗目标的检测结果;

6、s4、根据检测结果,引入跨图像空间去重策略,去除不同图像间的重复检测,基于去重后的麦穗结果进行计数并推算亩产量;

7、s5、将检测结果、计数结果与亩产量结果传输至地面站。

8、优选的,空频联合检测模型wh-det包括:

9、方向性拉普拉斯高斯提取模块,用于提取田间小麦冠层图像浅层特征;

10、条带引导注意力融合模块,用于对浅层特征,通过条形上下文引导的动态加权进行自适应跨尺度特征融合,得到融合特征;

11、环境鲁棒频域模块,用于对融合特征进行频域去噪和特征增强,得到增强特征;

12、输出模块,用于根据增强特征输出麦穗目标的预测边界框,包括检测编号、边界框中心坐标、边界框宽高和置信度分数。

13、优选的,方向性拉普拉斯高斯提取模块提取田间小麦冠层图像浅层特征包括:

14、对输入田间小麦冠层图像,通过7×7卷积进行初始特征映射,得到基础特征;

15、引入各向同性log分支,使用固定参数的拉普拉斯高斯滤波器提取基础特征各向同性边缘响应,突出麦穗轮廓与背景之间的灰度突变;

16、构建四个固定方向性log深度可分离卷积滤波器,从水平、垂直、主对角和反对角方向提取基础特征结构响应;

17、通过全局平均池化和两个1×1卷积生成基础特征方向权重,根据当前图像内容动态调节各方向分支的贡献度;

18、基于方向权重,将各方向基础特征结构响应按权重融合,得到结构响应融合特征;

19、对基础特征、边缘响应和结构响应融合特征进行残差融合,得到残差融合特征;

20、对残差融合特征进行分组卷积和深度可分离卷积实现两次下采样,得到浅层特征。

21、优选的,条带引导注意力融合模块根据浅层特征进行多尺度特征编码和跨尺度融合包括:

22、基于浅层特征,采用hg-stage模块下采样生成多尺度特征金字塔;

23、对来自不同尺度的两个特征图和,通过卷积进行通道对齐,映射到统一通道维度:,其中,、均表示通道对齐操作;

24、对通道对齐后特征进行融合并使用深度可分离卷积重构局部表示,得到融合特征;

25、对融合特征沿行方向和列方向分别执行基准条带数和的自适应平均池化,提取条带上下文,并对条带上下文进行拼接,得到条带上下文特征,其中,表示行方向,表示列方向;

26、以当前尺度特征生成查询

q,以条带上下文生成键和值,计算条带引导注意力:,并根据条带引导注意力重构增强特征:;

27、基于增强特征,通过深度可分离卷积和sigmoid生成权重图,根据权重图得到最终融合特征,其中,表示sigmoid函数,表示元素乘法,表示relu函数,表示空间通道联合加权图,表示输出的最终融合特征。

28、优选的,环境鲁棒频域模块对融合特征进行频域去噪和特征增强包括:

29、采用卷积层将输入特征通道扩展至,得到扩展特征;

30、对扩展特征执行二维实值fft,沿空间维度取均值得到频谱描述向量,通过轻量级mlp和sigmoid生成通道级门控权重,,用于自适应调整各通道的频域响应,其中,表示sigmoid函数,为二维实值傅里叶变换,表示对傅里叶变换结果取均值;

31、将扩展特征划分为p×p的非重叠局部图像块,对每个块执行二维fft得到局部频域特征,使用可学习的局部频域滤波器与门控权重形成样本自适应滤波器,对每个局部块进行滤波:,其中,表示元素乘法;

32、引入自相关功率谱增强机制,利用功率谱残差和空间自相关响应增强局部特征:

33、;

34、;

35、;

36、其中,、为可学习缩放参数,表示复共轭运算,表示逆傅里叶变换,代表空间域的自相关响应,表示功率谱,表示经频域增强后恢复的空间特征;

37、将所有图像块恢复空间特征图后,通过深度可分离卷积和门控前馈进行特征选择,得到最终增强特征,公式为:

38、;

39、;

40、式中,表示输出投影卷积,表示等分后的通道维度特征图,表示经频域增强后恢复的空间特征,表示沿着通道维度等分数组。

41、优选的,输出模块采用transformer解码器,通过iou感知查询选择机制,对最终增强特征进行多层解码器迭代,得到麦穗目标的预测边界框,预测边界框格式为,其中,为检测编号,()为边界框中心坐标,为边界框宽高,为置信度分数。

42、优选的,步骤s4具体包括:

43、对检测结果,以置信度预设阈值进行过滤,并对单帧图像执行非极大值抑制;

44、对每张图像,根据拍摄时刻的无人机rtk-gps坐标、飞行高度h和相机内参,将每个麦穗检测框中心像素坐标映射至地理空间坐标;

45、将所有图像的所有检测框地理坐标汇集,构建kd-tree空间索引,以空间邻近阈值进行半径查询,将空间距离小于的检测框归入候选匹配组;

46、对每个候选匹配组,若组内检测框来自同一图像,全部保留;若来自不同图像,以置信度最高者为准,或对地理坐标取置信度加权平均,输出唯一麦穗记录;

47、以去重后的麦穗记录集合进行最终计数,根据去重后的地理坐标生成麦穗密度热力分布图,结合品种千粒重参数和亩穗数-产量回归模型推算亩产。

48、本发明还提供了一种基于无人机边缘计算的麦穗实时检测系统,包括:

49、低空遥感图像采集模块,用于利用无人机,以预设飞行高度和航线采集目标麦田低空遥感图像,获得田间小麦冠层图像,并将田间小麦冠层图像传输至边缘端图像预处理模块;

50、边缘端图像预处理模块,用于对田间小麦冠层图像缩放至固定尺寸并进行归一化处理;

51、边缘端图像检测模块,用于根据预设部署的空频联合检测模型wh-det对处理后的田间小麦冠层图像进行实时边缘检测,得到麦穗目标的检测结果;

52、麦穗检测与产量估算模块,用于根据检测结果,采用跨图像空间去重策略,去除不同图像间的重复检测,并基于去重后的麦穗结果进行计数并推算亩产量;

53、传输模块,用于将检测结果、计数结果与亩产量结果传输至地面站。

54、因此,本发明采用上述的一种基于无人机边缘计算的麦穗实时检测方法及系统,具有以下有益效果:

55、(1)通过边端空频联合检测模型wh-det的实时推理,无需云端或地面站处理数据,实现真正机载端到端的实时检测,减少数据回传延迟,在无网络覆盖的偏远农田也能快速出具数据。

56、(2)本发明搭载模型能够应对光照变化、运动模糊和背景噪声等复杂环境,能够保障算法识别精度,并且不依赖无人机高度、相机焦距等外部参数,仅通过图像本身即可完成麦穗检测与计数,适用性更广,为小麦产量预估提供了高效便捷的技术手段。

57、下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。