一种基于方向引导的结构保持与多尺度融合谷物计数方法

本发明涉及图像处理，尤其涉及一种基于方向引导的结构保持与多尺度融合谷物计数方法。

背景技术：

1、谷类作物（如水稻、玉米、小麦、高粱等）是全球粮食生产体系中的核心组成部分，其植株数量及穗部数量直接关系到播种质量评估、产量估算、田间管理决策及农业资源配置等关键业务环节。在实际无人机遥感监测中，由于不同地块在地形条件、种植模式（行向弯曲、行间距不均）、生育阶段（苗期植株到生殖期穗部形态与尺度变化显著）以及成像条件（光照、天气、飞行高度）等方面存在明显差异，高分辨率无人机影像在不同区域及不同生长阶段之间往往表现出显著的几何结构与尺度分布差异。传统基于深度学习的目标检测或密度回归模型通常依赖单一区域或单一生长阶段的标注数据进行训练，在跨区域、跨阶段应用时容易受到植株遮挡、分布不均及目标尺度剧烈变化等因素的影响，导致模型在新的田间场景中泛化能力下降。同时，谷类作物在高分辨率无人机影像中往往呈现叶片交错、穗体重叠、边界模糊以及沿行向分布高度结构化等特点，现有模型在复杂农田场景中容易出现高密度区域漏计、遮挡区域误计以及与杂草、土壤背景混淆等问题。

2、近年来一些研究开始关注跨场景/跨生育阶段的作物计数适应性方法。相关研究通常通过迁移学习、多尺度特征融合或注意力机制来减少不同场景之间的分布差异，从而提高模型的泛化能力。然而，这些跨场景适应方法在谷类作物计数任务中仍存在一定局限。首先，现有方法大多遵循“局部特征-个体实例”的感知逻辑，过度依赖从局部视野中提取植物个体或穗部的表观特征，普遍忽视了谷类作物由行栽方式呈现的线状与方向性空间结构这一最显著且稳定的几何先验；其次，多数方法主要通过多尺度特征融合来应对目标尺寸变化，但缺乏对作物空间结构关系的显式建模，在行向弯曲、叶片交错及局部遮挡严重的区域，计数精度仍会因局部视野混淆而下降；此外，当模型从苗期植株计数任务迁移至生殖期穗部计数任务时，目标形态发生根本性变化，现有方法难以协调两者之间显著的尺度与形状差异，导致跨阶段应用中计数误差明显增大。

3、因此，有必要提供一种基于方向引导的结构保持与多尺度融合谷物计数方法来解决上述技术问题。

技术实现思路

1、本发明的主要目的是提供一种基于方向引导的结构保持与多尺度融合谷物计数方法，具体技术方案如下：

2、一种基于方向引导的结构保持与多尺度融合谷物计数方法，包括如下步骤：

3、s1、采集谷类作物的高分辨率rgb遥感影像，并对采集影像进行预处理；

4、s2、构建方向引导的结构保持与多尺度融合计数网络（简称dsm-count），该计数网络包括前端特征提取网络、层级方向估计器、双向结构保持注意力模块、分层自适应尺度融合模块和密度解码器；

5、s3、对方向引导的结构保持与多尺度融合计数网络进行训练，保存训练后的方向引导的结构保持与多尺度融合计数网络；

6、s4、将预处理后的影像输入训练后的方向引导的结构保持与多尺度融合计数网络，得到预测密度图；包括：

7、s4.1、将预处理后的影像输入前端特征提取网络，提取前端特征图；

8、s4.2、将前端特征图输入层级方向估计器进行处理，获取单位方向场；

9、s4.3、将前端特征图与单位方向场共同输入双向结构保持注意力模块，获取注意力聚合特征与局部增强特征，将注意力聚合特征与局部增强特征进行特征融合，获取融合特征图；

10、s4.4、将融合特征图输入分层自适应尺度融合模块进行处理，获取增强后的分组特征，将所有增强后的分组特征沿通道维度拼接，获取拼接后的特征图；

11、s4.5、将拼接后的特征图输入密度解码器，获取预测密度图；

12、s5、对预测密度图中所有像素值求和，得到谷类作物估计数量。

13、进一步的，s1中，对采集影像进行预处理包括：

14、将无人机采集的原始遥感影像下采样至预设分辨率，并对下采样后的影像进行数据增强处理。

15、进一步的，s4.1中，所述前端特征提取网络采用vgg16网络的前13个卷积层；

16、设输入的预处理后的影像尺寸为，经过前端特征提取网络处理后，输出前端特征图尺寸为，记该前端特征图为，其中，，，，为影像高度，为影像宽度，表示前端特征图的高度，表示前端特征图的宽度，表示前端特征图的通道数。

17、进一步的，层级方向估计器包括三层卷积层，s4.2具体包括：

18、s4.2.1、将前端特征图输入第一层卷积层，所述第一层卷积层采用128个尺寸为3×3的卷积核，输入通道为512，输出通道为128，步长为1，填充为1；卷积操作后，通过relu激活函数进行非线性变换，输出特征图；

19、s4.2.2、将特征图输入第二层卷积层，所述第二层卷积层采用64个尺寸为3×3的卷积核，输入通道为128，输出通道为64，步长为1，填充为1；卷积操作后，通过relu激活函数进行非线性变换，输出特征图；

20、s4.2.3、将特征图输入第三层卷积层，所述第三卷积层采用2个尺寸为3×3的卷积核，输入通道为64，输出通道为2，步长为1，填充为1，卷积操作后输出二维向量场；

21、s4.2.4、基于二维向量场，对每个空间位置对应的二维向量进行逐像素归一化处理，获取单位方向场，每个位置的向量模长为1，方向表示该像素处谷类作物行向的局部切向方向。

22、进一步的，s4.3具体是：

23、s4.3.1、根据单位方向场的水平分量和垂直分量，计算法向场；

24、s4.3.2、预先设定采样点数和采样半径，生成归一化的采样偏移序列：

25、；

26、s4.3.3、基于归一化采样偏移序列，对于前端特征图上的任意位置，沿切向和法向计算采样坐标：

27、沿切向的第个采样坐标为：

28、；

29、沿法向的第个采样坐标为：

30、；

31、s4.3.4、对每个采样坐标，使用双线性插值从前端特征图中获取采样特征：

32、设插值函数为bilinterp，切向采样特征集和法向采样特征集分别为：

33、；

34、将切向采样特征集中的个采样特征进行拼接，获取切向采样特征序列；将法向采样特征集中的个采样特征进行拼接，获取法向采样特征序列；

35、s4.3.5、基于切向采样特征序列计算切向注意力聚合特征，基于法向采样特征序列计算法向注意力聚合特征，将中心特征、切向聚合特征和法向聚合特征相加，得到注意力聚合特征；

36、s4.3.6、对注意力聚合特征进行分组深度可分离卷积增强，获取局部增强特征；将注意力聚合特征与局部增强特征进行特征融合，获取融合特征图。

37、进一步的，s4.3.5具体是：

38、设注意力头数为，每个头的特征维度；

39、对中心位置的特征使用1×1卷积生成查询向量：

40、 ；

41、对切向采样特征序列分别使用两个不同的1×1卷积生成键向量和值向量：

42、；

43、将查询向量重塑为的形状，将键向量序列重塑为的形状，然后按头计算缩放点积注意力得分：

44、 ；

45、其中：为注意力头索引，为注意力头的特征维度；

46、将所有头的得分沿采样维度拼接，得到形状为的得分矩阵，然后对每个头沿采样维度进行softmax归一化，得到注意力权重：

47、 ；

48、将注意力权重与对应的值向量加权求和，得到每个头的输出特征：

49、 ；

50、将所有头的输出特征拼接，得到切向注意力聚合特征；

51、采用相同流程，使用法向采样特征序列计算法向注意力聚合特征；

52、将中心特征、切向注意力聚合特征和法向注意力聚合特征相加，得到注意力聚合特征：

53、。

54、进一步的，s4.4包括：

55、将输入的融合特征图沿通道维度均匀划分为组，每组通道数为，得到分组特征集，每个分组特征；

56、对于每个分组特征，分别沿高度方向和宽度方向进行自适应平均池化；

57、将沿宽度方向的池化结果和沿高度方向的池化结果分别通过1×1卷积和sigmoid激活，得到高度方向权重和宽度方向权重；

58、采用深度学习框架的广播机制对高度方向权重和宽度方向权重进行维度扩展，基于扩展后的两个权重对分组特征进行逐元素加权，输出大尺度空间响应特征；

59、 ；

60、其中：表示逐元素乘法，表示广播加法；

61、对于每个分组特征，使用3×3卷积进行局部特征建模，得到小尺度纹理特征；

62、将大尺度空间响应特征和小尺度纹理特征分别进行全局平均池化，得到两个通道重要性向量和；对两个通道重要性向量分别进行softmax归一化：

63、；

64、其中：表示大尺度特征的通道重要性权重，表示小尺度特征的通道重要性权重；

65、将大尺度空间响应特征与权重在空间维度进行矩阵乘法，生成空间注意力图；将小尺度纹理特征与权重进行矩阵乘法，生成空间注意力图；将两种空间注意力图相加，经sigmoid激活后得到最终的空间注意力权重图；

66、将原始的分组特征与空间注意力权重图逐元素相乘，得到增强后的分组特征：

67、 ；

68、将所有分组输出的增强后的分组特征沿通道维度拼接，得到拼接后的特征图。

69、进一步的，密度解码器包括三个上采样块，每个上采样块包括：

70、双线性上采样层，上采样因子为2；

71、3×3卷积层，输出通道数依次为256、128、64；

72、relu激活层；

73、输入的特征图经三个上采样块处理后，特征图尺寸恢复至原始输入影像的1/2；

74、通过一个1×1卷积，得到预测密度图。

75、进一步的，s3中，采用l2损失函数对方向引导的结构保持与多尺度融合计数网络进行监督训练：

76、 ；

77、其中：为批次大小，为第张影像的预测密度图，为第张影像的真实密度图。

78、进一步的，训练优化器采用adam，初始学习率，权重衰减，训练轮次根据数据集设置为400~800轮，批次大小设置为4。

79、本方案实现的有益效果是：

80、（1）本发明提出的方向引导的结构保持与多尺度融合计数网络（dsm-count），通过引入层级方向估计器提取作物行向几何先验，设计双向结构保持注意力模块沿切向与法向进行结构化特征聚合，并结合分层自适应尺度融合模块实现多尺度特征的高效融合，实现跨区域、跨生育阶段、复杂田间场景下的谷类作物高精度自动计数。

81、（2）本发明引入层级方向估计器，通过轻量化卷积网络逐像素学习并回归单位方向场，将谷类作物行向空间几何先验以端到端方式嵌入特征表示，为后续结构保持与特征采样提供方向性约束，从而增强模型对植株空间分布与结构连续性的感知能力。

82、（3）本发明构建一种双向结构保持注意力模块，沿估计的主方向（切向）及其正交方向（法向）构建采样序列，采用多头注意力机制对采样特征进行加权聚合，实现双向自适应特征聚合与局部结构保持，有效缓解高密度区域的特征混叠与边界信息丢失问题，增强模型对行向弯曲、叶片交错及局部遮挡等复杂田间场景的适应能力。

83、（4）本发明设计一种分层自适应尺度融合模块，通过通道分组策略并行提取大尺度空间响应特征（沿高度与宽度方向池化）与小尺度局部纹理特征（3×3卷积），并引入跨尺度双向交互机制对不同尺度特征进行自适应重加权，实现多层次、多尺度特征的高效融合，协调苗期植株与生殖期穗部之间的形态尺度差异，提升模型跨生育阶段、跨目标类型的计数稳定性。