一种基于动态深度分离卷积和协同注意力的柑橘成熟度检测方法及系统

本发明属于柑橘成熟度检测，尤其涉及一种基于动态深度分离卷积和协同注意力的柑橘成熟度检测方法及系统。

背景技术：

1、柑橘是全球种植范围最广的水果作物之一，对农业经济发展和粮食安全起着至关重要的作用。随着种植规模的扩大以及精准农业技术的进步，高效且准确的柑橘监测已成为核心需求。目标检测技术为柑橘监测提供了一种非破坏性、大规模且实时的技术手段，这对于提高生产效率、减少收获后的损失以及推动产业智能化至关重要。然而，柑橘目标检测面临着严峻的挑战，原因在于复杂的果园环境和柑橘生长特性，尤其是在成熟度分级方面。自然果园的情况包括光照不均、果实与枝干的遮挡以及环境干扰；同时，果实的逐渐成熟变化和不同品种之间的差异也增加了检测的难度。准确的成熟度检测对于及时采摘和质量分级至关重要，因为它与内部品质和市场价值密切相关。传统的手工方法耗时、费力且不准确。依赖主观的果皮颜色判断，误分类率较高，并且无法实现对内部质量指标的无损检测，从而造成巨大的经济损失。

技术实现思路

1、本发明的目的是提供一种基于动态深度分离卷积和协同注意力的柑橘成熟度检测方法及系统，以解决传统的人工柑橘成熟度检测方法耗时、费力且不准确。依赖主观的果皮颜色判断，误分类率较高，并且无法实现对果实的无损检测，从而造成巨大的经济损失的问题。

2、本发明借助其端到端的特征学习能力提供了一种非破坏性、大规模且实时的技术手段，实现柑橘目标检测。

3、为实现上述目的，本发明采用如下技术方案：

4、一种基于动态深度分离卷积和协同注意力的柑橘成熟度检测方法，包括以下步骤：

5、s1、采用深度卷积和逐点卷积构建深度分离卷积特征提取器，并为深度卷积引入通道注意力相关的动态权重，提取输入柑橘图像的动态深度分离卷积特征；

6、s2、将步骤s1提取的动态深度分离卷积特征输入协同注意力机制，所述协同注意力机制由坐标注意力、交叉多尺度注意力和双特征多头自注意力构成，三者分别部署于主干网络的浅层、中层与深层，并通过跨层协同融合模块实现信息互通与特征融合，得到协同增强特征；

7、s3、基于步骤s2输出的协同增强特征，采用边界框回归、成熟度分类、成熟度回归和可见性感知四个任务构建多元损失函数，以监督模型对柑橘的定位与成熟度判别；

8、s4、将采集到的柑橘图像数据分成训练集和测试集，以步骤s1的特征提取器、步骤s2的协同注意力机制和步骤s3的多元损失函数共同构成主干网络并进行训练，采用训练完成的模型获取柑橘成熟度检测结果。

9、进一步的，动态深度分离卷积特征的获取包括动态权重生成、动态深度卷积核构建和动态深度可分离卷积计算三个过程，其中：

10、所述动态权重生成包括：通过轻量级压缩与激励模块对输入特征图依次进行全局平均池化压缩空间特征，以及经两级全连接层及leakyrelu和sigmoid激活函数生成通道注意力向量，其过程如下所示：

11、全局平均池化（gap）压缩空间特征：

12、（1）

13、其中，表示第个输入通道经全局平均池化后的特征向量，x(i,j,c)是坐标为i,j通道为c的输入像素，h和w表示图像的高和宽；

14、两级全连接层+激活函数生成注意力权重：

15、（2）

16、（3）

17、其中，leakyrelu是一种激活函数，保留所有通道的基础响应；sigmoid将权重归一化至，精准分配不同通道的重要性；表示经 leakyrelu 激活后的中间特征向量， 和 分别表示两层全连接层的权重矩阵， ，，cin表示输入特征图的通道数，r 为降维系数，取 16，，和 分别表示两层全连接层对应的偏置项；表示第个通道对应的注意力权重；

18、所述动态深度卷积核构建包括：将静态深度卷积核与所述通道注意力向量按通道逐元素相乘，生成动态深度卷积核，其公式为：

19、（4）

20、其中，表示加权后的动态深度卷积核，表示静态深度卷积核，表示深度卷积核的空间位置索引，，表示输入通道索引；

21、所述动态深度可分离卷积计算包括：使用所述动态深度卷积核进行空间卷积提取空间特征，再通过逐点卷积融合跨通道信息，计算过程如下：

22、动态深度卷积用于空间特征提取

23、（5）

24、逐点卷积用于通道特征融合

25、（6）

26、其中，表示动态深度卷积的输出特征图，表示逐点 1×1 卷积核的权重，表示逐点卷积的输出通道索引，表示逐点卷积的偏置项，x(i+k1,j+k2,c)表示坐标为（i+k1,j+k2）,通道为c的输入特征向量；y(i,j,cout)表示长坐标为（i,j）,通道为cout的输出特征向量。

27、进一步的，所述步骤s2中，双特征多头自注意力是在transformer多头自注意力的基础上，融合通道注意力提取特征与空间注意力提取特征，通过通道筛选与空间聚焦剔除冗余信息，为多头自注意力机制提供输入；所述坐标注意力、交叉多尺度注意力和双特征多头自注意力三者的输出特征通过跨层协同融合模块实现信息互通与特征融合。

28、进一步的，所述跨层注意力协同融合模块对坐标注意力、交叉多尺度注意力与双特征多头自注意力三种注意力的输出特征进行动态加权融合，生成协同增强特征后送入输出层的拼接操作前；

29、所述跨层协同融合模块对输出特征进行动态加权融合的操作包括特征尺寸对齐、协同权重生成和加权特征融合，具体为：

30、特征尺寸对齐：设坐标注意力的输出特征为，其为浅层输出，高分辨率；交叉多尺度注意力的输出特征为，其为中层输出，中分辨率；双特征多头自注意力的输出特征为，其为深层输出，低分辨率；统一将 和 下采样至的空间尺寸，同时通过卷积将三者通道数统一为，得到对齐后的特征，具体计算公式为：

31、（7）

32、 （8）

33、（9）

34、其中，表示步长为、卷积核尺寸为的下采样卷积，用于压缩特征空间维度，为卷积核尺寸，为步长；、、分别为三种注意力特征对齐后的输出，尺寸均为；

35、协同权重生成：首先对对齐后的三种特征分别进行全局平均池化（gap），提取通道级全局特征向量，消除空间维度的影响，具体计算公式为：

36、（10）

37、（11）

38、（12）

39、其中，、、分别为三种对齐后特征经全局平均池化得到的通道级特征向量，gap表示全局平均池化；

40、后将三个全局特征向量沿通道维度进行拼接，得到拼接后的特征向量，再通过卷积对其进行通道压缩，引入relu激活函数增加非线性表达能力，之后通过  卷积恢复通道维度，最后经sigmoid激活函数将输出归一化至区间，生成动态协同权重向量，具体计算公式为：

41、（13）

42、（14）

43、（15）

44、（16）

45、（17）

46、其中，、分别为通道压缩与通道恢复过程中 卷积的权重矩阵，、为对应的偏置项；为降维系数，取16，用于平衡模型精度与计算效率；可拆分为三个子权重向量、、，各子向量维度均为，分别对应坐标注意力、交叉多尺度注意力、双特征多头自注意力特征的权重；

47、加权特征融合：将生成的动态协同权重分别作用于对应的对齐后特征，通过逐元素相乘实现特征加权，再将加权后的三种特征进行逐元素求和，得到最终的协同增强特征，该特征融合了三种注意力的优势，能够同时提供精准的空间定位信息、完整的多尺度特征与清晰的成熟度语义特征，具体计算公式为：

48、（18）

49、其中，表示逐元素相乘操作； 为跨层协同融合后的最终输出特征，将其直接送入输出层的拼接操作前。

50、进一步的，所述步骤s3中，多元损失函数的计算公式为：

51、（19）

52、其中，表示边界框回归损失，表示成熟度类别分类损失，表示成熟度回归损失，表示可见性感知损失，表示其对应的损失权重，设定为0.5。

53、进一步的，所述边界框回归损失将广义交并比giou与完全交并比ciou相结合，同时调整宽高比惩罚项：

54、（20）

55、（21）

56、（22）

57、其中，表示预测框、表示真实框，为包含两者的最小外接矩形，表示和元素之间的欧氏距离，为的对角线长度，lgiou表示广义交并比损失函数， 表示调整后的完全交并比损失函数，α表示 giou 损失与调整后的 ciou 损失之间的平衡因子，取值为0.6；iou表示交并比，表示长宽比惩罚的自适应权重系数，v 表示标准 ciou中用于衡量宽高比一致性的惩罚项。

58、进一步的，所述成熟度类别分类损失采用focal loss，将柑橘成熟度划分为青果阶段、色泽转变、初成熟阶段、中度成熟阶段和完全成熟阶段五种类别，分别设定标记为0、0.5、0.7、0.8和1，所述成熟度类别分类损失的计算公式为：

59、（23）

60、其中，为第个样本属于真实类别的预测概率，为类别平衡因子，为聚焦参数，设置为2。

61、进一步的，所述成熟度回归损失采用平滑l1损失函数，通过预测柑橘从青色到橙色的成熟度分数进行回归评估；所述平滑l1损失函数中，对中度成熟阶段和完全成熟阶段赋予高于其他阶段的阶段权重，其计算公式为：

62、（24）

63、其中，表示真实成熟度分数，表示成熟度预测分数，n表示样本数量，wstage表示阶段权重，smoothl1表示l1平滑损失函数。

64、进一步的，所述可见性感知损失通过预测目标的可见部分比例，调整边界框回归与分类损失的权重，其计算公式为：

65、（25）

66、其中，表示真实可见性分数，表示预测可见性分数，表示二值交叉熵损失函数；

67、通过可见性感知损失值的调整，能够修改预测目标可见部分的比例，同时去调整其他损失，调整后的边界框回归损失和成熟度类别分类损失计算公式如下：

68、（26）。

69、一种基于动态深度分离卷积和协同注意力的柑橘成熟度检测系统，包括：

70、图像获取模块，用于采集柑橘图像数据，并将所述柑橘图像数据分成训练集和测试集；

71、动态深度分离卷积特征提取模块，用于采用深度卷积和逐点卷积构建深度分离卷积特征提取器，并为深度卷积引入通道注意力相关的动态权重，提取输入柑橘图像的动态深度分离卷积特征；

72、协同注意力机制模块，用于将所述动态深度分离卷积特征输入协同注意力机制，所述协同注意力机制由坐标注意力、交叉多尺度注意力和双特征多头自注意力构成，三者分别部署于主干网络的浅层、中层与深层，并通过跨层协同融合模块实现信息互通与特征融合，得到协同增强特征；

73、多元损失函数构建模块，用于基于所述协同增强特征，采用边界框回归、成熟度分类、成熟度回归和可见性感知四个任务构建多元损失函数，以监督模型对柑橘的定位与成熟度判别；

74、模型训练与输出模块，用于以所述特征提取模块、协同注意力机制模块和多元损失函数构建模块共同构成主干网络并进行训练，采用训练完成的模型获取柑橘成熟度检测结果。

75、有益效果：

76、本发明与现有技术相比，具有以下显著优点：

77、（1）本发明通过动态深度分离卷积特征提取器替代原模型标准特征提取器，在保证特征提取能力的同时，显著降低了模型的参数量和计算开销。在柑橘成熟度检测任务中，与标准方法相比，本发明的参数和计算复杂度分别降低了12.79%和18.28%，推理帧率达到93.42 fps，在检测精度与实时性能之间实现了良好的平衡。

78、（2）本发明引入由坐标注意力、交叉多尺度注意力和双特征多头自注意力构成的协同注意力机制，三者分别部署于主干网络的浅层、中层与深层，通过跨层协同融合模块实现信息互通，从根源缓解拼接操作带来的语义冲突问题，有效提升了模型对多尺度柑橘目标的感知能力。

79、（3）本发明融合定位、分类、成熟度评估和可见性感知的多元损失函数，在柑橘成熟度检测任务中实现了0.980的精确率、0.965的召回率、0.972的f1分数以及0.975的map50，适配柑橘成熟度检测的细粒度分类与遮挡场景检测需求。

80、（4）本发明能够有效处理果叶遮挡、果实重叠以及光照不均等复杂场景，对于处于精细成熟阶段的果实（如颜色过渡期和初熟期），模型实现了0.80及以上的高置信度检测与分类，验证了所引入的协同注意力机制和多元损失函数在增强精细辨别能力和场景鲁棒性方面的有效性。

81、（5）本发明通过利用边缘设备在真实的果园环境中检测柑橘类水果的成熟度，在不同光照、遮挡和背景条件下，对不同成熟阶段的柑橘类水果实现了超过85%的平均检测准确率，满足了果园中实时检测的要求。