一种基于余弦相似星运算神经网络的农作物病害图像实例分割方法

摘要: 本发明属于精准农业、计算机视觉与人工智能,具体涉及一种基于余弦相似星运算神经网络的农作物病害图像实例分割方法。背景技术:1、随着数字信息科技的飞速发展,智慧农业...
一种基于余弦相似星运算神经网络的农作物病害图像实例分割方法

本发明属于精准农业、计算机视觉与人工智能,具体涉及一种基于余弦相似星运算神经网络的农作物病害图像实例分割方法。

背景技术:

1、随着数字信息科技的飞速发展,智慧农业已成为解决农业生产问题的关键路径之一。智慧农业系统通过集成物联网(iot)、边缘计算、传感器网络等先进技术,实现从种植到收获的全流程监控与管理。物联网技术在农业中的应用,使得数据采集和环境监测更加精准和实时,为农作物生长提供了科学依据。近年来,人工智能,特别是深度学习的图像处理技术,被广泛应用于农作物病害检测领域。深度学习技术以其强大的特征学习能力,能够从海量数据中提取病害的视觉特征,实现对农作物病害的精准识别。与传统的人工观测和简单的图像处理技术相比,基于深度学习的实例分割方法不仅能够实现对病害区域的像素级分割,还有效提高了病害检测的精度和效率。例如,卷积神经网络(cnn)在农作物病虫害检测中取得了显著成果,能够在复杂背景下准确识别病害,提高了检测的准确性和速度。

2、然而,将深度学习模型直接应用于复杂的农业场景中仍存在诸多挑战。首先,病斑区域小且分布不均的问题十分突出。病斑通常呈现为较小且稀疏的斑点,且形状不规则。这种特点使得模型难以有效捕捉和识别病斑区域的边界,特别是对于微小和散布不均的病害特征,模型可能会在病斑识别和分割中出现遗漏或误判。其次,农业终端设备的算力普遍较低,这使得大型检测分割模型的计算资源难以得到有效支持。同时,在农业场景中,待测农作物及病害区域往往比较密集,会出现相互遮挡的现象,这要求检测和分割模型具备更强的语义分析、前后景辨别能力。现有技术往往通过引入不同的实例边界预测分支,或各种上下文增强注意力模块,以此加强模型的语义特征提取能力,增强对遮挡物以及被遮挡物的识别能力。尽管这些方法取得了不错的效果,但显著增加了模型整体的计算负担。

3、图像检测分割模型轻量化技术旨在确保模型性能的前提下,减少模型的体积和计算复杂度,以实现资源受限设备(如移动设备和嵌入式系统)上的高效运行。这一技术的发展解决了在实际应用中对轻量级模型的需求,特别是在深度学习应用逐渐向边缘设备迁移的背景下。在轻量化设计中,骨干网络的优化至关重要,主要通过网络剪枝、量化、知识蒸馏和构建更高效的网络结构等方法进行。网络剪枝通过去除网络中不重要的连接和神经元,减少了模型的参数量和计算复杂度。量化则将模型参数和激活值从高精度格式转换为低精度格式,进一步减少存储和计算开销。知识蒸馏通过将一个较大的预训练模型的知识传递给一个较小的学生模型,保持较高性能的同时显著减少参数量,更高效的网络结构设计则采用如深度可分离卷积、组卷积等方式减少计算复杂度。通过这些方法的结合,轻量化模型能够在性能和计算效率之间找到平衡,实现更加高效的图像检测任务。

4、在处理农业图像问题中,轻量化技术得到了广泛应用。首先,基于mobilenet模型的苹果叶病识别方法旨在解决传统专家检查效率低、精度不稳定的问题,该方法能够高效且低成本地部署在移动设备上,通过深度学习实现苹果叶病(alternaria叶斑病和锈病)的自动识别,对比实验展示了mobilenet模型在处理效率和准确性方面与传统深度学习模型resnet152和inceptionv3相当,同时在移动设备上具有更高的部署性和实时处理能力。其次,一种新的作物害虫检测方法——yololite-csg,旨在解决传统检测方法在农业环境中因计算量和参数过大而难以部署的问题。该方法采用了k-means++算法优化先验框的生成,并引入轻量级的sandglass模块与坐标注意力机制来进一步减少模型的计算量和参数数量,同时保持高精度,实验结果表明,yololite-csg在cp15作物害虫数据集上取得了82.9%的检测精度,参数数量仅为yolov3的8.1%,计算量也减少了约85%。再次,一种轻量级的语义分割模型rl-deeplabv3+,用于水稻倒伏检测,以解决当前无人水稻收割机在收割过程中缺乏倒伏预警的问题。该模型设计了一个名为水稻倒伏通道特征金字塔(rl-cfp)的骨干网络,并将空洞空间金字塔池化(aspp)模块替换为基于通道注意力的深度可分离膨胀卷积金字塔(cd-asp)模块,还在解码和编码阶段加入了通道注意力模块(cam)。通过自制的水稻倒伏数据集进行训练和评估,模型的大小为3.39mb,参数数量为7.80×105。模型的平均交并比(miou)和平均像素精度(mpa)分别达到了90.52%和94.73%,优于其他对比模型。

技术实现思路

1、本发明的目的是提供一种基于余弦相似星运算神经网络的农作物病害图像实例分割方法,依据农作物病害图像检测与分割领域的研究现状,以及复杂农业场景下病害图像的特殊属性,通过构建星形高效运算骨干网络、补丁细化离散余弦变换模块以及相似度距离标签分配策略,能够显著提升病害检测与分割的准确性,还大幅提高了模型运行效率,使其能够更好地适应资源受限的农业设备环境,为智慧农业作业装备、远程监控物联网等智能化应用提供一种高效、精准的解决方案。

2、本发明的技术方案如下:一种基于余弦相似星运算神经网络的农作物病害图像实例分割方法,对农作物病害图像数据集进行预处理;设计一种基于星形高效运算的骨干神经网络starnet,该网络基于星形运算结构,结合深度可分离卷积和元素级乘法操作,构建粗粒度特征提取器,为后续的分割任务提供基础特征表示;引入补丁细化掩码机制设计离散余弦变换模块patchdct,使用transformer解码器生成的初步掩码预测作为输入,通过将整个图像掩码拆分成多个小块,对每个块进行细致调整,合并这些补丁来形成高质量的实例分割掩码,用于处理遮挡区域病害,采用相似度距离标签分配策略simd,通过结合目标的位置和形状相似度,为小目标病害区域分配更合适的标签。

3、包括如下步骤:

4、步骤1:数据预处理;

5、步骤2:构建基于星形高效运算的骨干神经网络starnet;

6、步骤3:构建pixel decoder-transformer decoder模块;

7、步骤4:构建基于补丁细化掩码机制的离散余弦变换模块patchdct;

8、步骤5:提出了相似度距离标签分配策略simd;

9、步骤6:构建病害实例分割的评价指标。

10、所述的步骤1包括通过图像预处理来增强数据,包括随机裁剪缩放,缩放后图像大小统一为224×224,随机水平和垂直翻转180度以增加图像多样性;随机旋转90,180,270度以提高变形适应性;改变图片饱和度以及亮度以增加光照变化;随机添加噪声,并且对数据使用mixup增强。

11、所述的步骤2包括设计基于星形高效运算的骨干神经网络starnet,用于提取图像的特征,starnet结构包括:输入模块、多个阶段和每个阶段中的多个残差块,将输入特征投影到一个高维的非线性空间,每个星操作的工作表示为:

12、star output=(x+)×(x+)

13、其中,和为权重矩阵,x为输入特征,和为偏置项;

14、starnet的网络整体结构首先是输入模块,其包含一个卷积层,该层将输入的图像数据转换为多通道的特征图,输入图像通过一个3x3卷积核进行初步处理,步幅为2,进行尺寸的缩小,并通过relu6 激活函数增加非线性,输入模块的作用是为后续的特征提取层准备一个初步的特征表示,表示如下:

15、stem output=relu6(conv3×3())

16、其中,conv3×3()代表3×3卷积操作,代表输入为640×640×3的输入像素矩阵,relu6是一个激活函数,其次是starnet的多个网络阶段,每个阶段由卷积模块和多个残差块组成,每个阶段的第一个模块通过3×3卷积进行下采样,多个残差块堆叠在一起,进一步提取特征,在每个阶段中,block模块通过深度可分离卷积和星操作来增强特征表达能力,在每个block内部,特征图经过两个7x7的深度卷积进行处理,通过元素级乘法进行融合,增强特征的非线性表示,每个阶段中的网络深度由depths参数决定,depths=[2, 2, 8,3]表示网络有四个阶段,其中第一、二、三、四个阶段包含2、2、8、3个block,每个阶段的结构表示为:

17、stage output=conv3×3(stem output)+

18、其中,n是当前阶段的深度,即depths中对应的数字,表示每个残差块,每个block内部包含两个7x7的深度可分离卷积,用于捕获图像的局部特征, block中有两个1x1卷积,分别用于增强特征图的表示能力。

19、所述的步骤3包括选取步骤2得到的骨干网络及fpn 处理后的输入特征层,经过pixel decoder模块进行金字塔池化,输入特征通过不同尺度的池化操作进行处理,池化后的特征图在通道维度上进行拼接,然后通过1×1卷积降维,最终生成融合了多尺度信息的特征图,经过金字塔池化模块的输出特征图和fpn自顶向下的特征融合得到了多尺度的特征表示,这些特征用于后续的任务,包括实例分割、目标检测。

20、所述的步骤4包括引入基于补丁细化掩码机制的离散余弦变换模块patchdct,使用transformer解码器生成的初步掩码预测作为输入,通过将整个图像掩码拆分成多个小块,对每个块进行细致调整,以获取更高精度的掩码,并最终合并这些补丁来形成高质量的实例分割掩码,利用卷积神经网络对输入特征进行多层处理,然后通过dct编码器对掩码进行压缩,接着通过 patchdct 方法对每个补丁的dct向量进行细化,从而在每个局部区域获得更精细的分割效果。

21、所述的步骤5包括采用相似度距离标签分配策略simd,结合了目标的位置和形状相似度,通过计算相似度距离来为每个预测框分配最合适的标签,从而有效提高农业病害检测中小目标的识别精度。

22、所述的步骤6包括在病害实例分割任务中,采用一种综合损失函数,所述损失函数由多个部分组成,共同指导模型在多任务学习中的训练过程,综合损失函数表示为:

23、

24、其中,  为分类损失,用于优化模型对病害类别的预测准确性; 为边界框回归损失,用于优化预测边界框的位置精度; 为分割损失,用于优化像素级的分割质量;

25、分类损失采用交叉熵损失来度量预测类别与真实类别之间的差异,表示为:

26、

27、其中, 是样本数量, 是类别数, 是样本  在类别  上的真实标签(0或1), 是模型预测样本  属于类别  的概率;

28、边界框回归损失使用平滑l1损失来优化边界框的坐标预测,表示为:

29、)

30、其中, 是真实边界框坐标的变换值,是模型预测的边界框坐标变换值,定义如下:

31、

32、对于实例分割任务,分割损失采用二元交叉熵损失或dice损失来优化每个实例的分割掩码:

33、

34、其中,m是每个掩码的像素数量,是像素 m的真实标签,是模型预测该像素属于前景的概率。

35、本发明的有益效果在于:一、针对传统单一模型在农作物病害图像实例分割任务中性能不足的问题,提出了一种基于余弦相似星运算神经网络的农作物病害图像实例分割方法。通过设计一种基于星形高效运算的骨干神经网络starnet,结合深度可分离卷积和元素级乘法操作,显著提升多尺度特征提取能力,并降低计算负担,有效解决农业场景中移动端设备算力不足和模型难以部署的问题。二、基于补丁细化掩码机制设计离散余弦变换模块,结合相似度距离标签分配策略,优化了农业场景中小目标的标签分配方式,更好应对复杂环境背景和病斑遮挡情况干扰,提升了密集分布、多尺度变化的病害区域的目标检测和分割精度,避免了传统iou匹配方法在小目标检测中的不足。