一种基于多尺度特征融合及动态卷积的福寿螺卵检测方法与流程

1.本发明属于计算机视觉技术领域，尤其涉及一种基于多尺度特征融合及动态卷积的福寿螺卵检测方法。


背景技术：

2.近些年计算机视觉的快速发展，使得智慧农业、科学防疫等场景成为一种现实的存在，人们越来越倾向使用计算机视觉技术检测潜在的病虫危害。现有的大多数目标检测方法只能对虫卵进行分类，或在特定背景条件而非自然环境中检测它们，在面对复杂的真实世界场景，它们不能取得良好的效果。
3.在病虫害防治方面，为了解决分类问题，konantinos p.ferentinos等人开发了一个基于vgg卷积神经网络架构的特殊深度学习模型，用于通过简单的健康或生病的叶片图像来识别植物疾病。实验在17548张图像上进行，准确率达到99.53％(top
‑
1误差0.47％)；该模型是在一个公开的数据集上训练的，该数据集由25种植物和疾病的组合以及87848张图像组成；它还验证了在单个gpu上进行单个图像分类需要大约两毫秒的时间，这使得该模型有可能被整合到移动应用程序中，以应用到其他领域，该模型可以帮助种植者或农学家对大规模田地进行实时监测；然而它只能对病害进行分类，不能检测病害的数量和位置。
4.在检测方面，shen等人基于深度学习物体检测框架，对被瓦楞纸板型诱捕器诱捕的害虫图像进行定位和识别，基于深度学习的物体检测框架faster r
‑
cnn[9]，取得了88％的平均识别精度。然而，这种方法是为特定背景设计的而在现实世界中不够稳健。alvaro fuentes等人提出了一个基于深度学习的鲁棒性检测器来检测番茄植物病害，该模型使用r
‑
fcn与resnext
‑
50为主干。可以识别9种不同类型的病害，并达到85.98％的平均精度(map)。然而，该模型对一些疾病检测效果不够理想，如叶霉病、灰霉病、溃疡病和瘟疫。
[0005]
在实际应用层面，已经有很多基于深度学习的害虫检测系统。everton castelao tetila等人提出一种基于深度学习的大豆害虫自动分类和计数方法。采用slic超级像素分割算法对图片中的害虫进行分割，100％微调(ft)的densenet
‑
201模型的分类精度达到94.89％，平均检测精度达到90.86％。x.f.xu等人使用parasnet检测细胞水平的隐孢子虫和贾第虫散射图像。他们在自己的细胞级散射图像上达到了超过95.6％的准确率。在嵌入式jetson tx2设备上以100fps的速度实现。现有的方法缺陷主要有：基于多模块的卷积神经网络的方法模型精确度鲁棒性不高，对一些特定的目标检测效果较差。


技术实现要素：

[0006]
本发明提出了一种基于多尺度特征融合及动态卷积的福寿螺卵检测方法，解决了目前福寿螺虫卵识别准确度低、模型健壮性差的问题。
[0007]
为了实现上述目的，本发明的技术方案为：
[0008]
一种基于多尺度特征融合及动态卷积的福寿螺卵检测方法，包括以下步骤：
[0009]
(1)数据集获取过程：采集针对福寿螺卵的航拍图像，并对其中的虫卵进行标注，
标注出图像中虫卵的种类和位置；
[0010]
(2)构建神经网络过程：使用darknet53作为骨干网络，将卷积核全部替换为动态卷积核，更精确地提取特征；再添加第四个针对更小目标的分支，与其它三个分支的特征进行融合，更准确地定位和识别小目标；
[0011]
(3)神经网络训练过程：将标注后的福寿螺卵图像数据集送入步骤2构建的神经网络进行训练，直至网络收敛；
[0012]
(4)测试图像检测过程：利用训练好的神经网络和权重文件来检测测试图像中的福寿螺卵目标。
[0013]
以上所述步骤中，步骤(2)中的动态卷积相较于其他神经网络中的传统卷积方式，动态卷积能够更好地提取输入的特征，并且四个尺度的特征融合能够更好地检测小目标，步骤(2)具体包括以下步骤：
[0014]
(21)在darknet53网络中使用动态卷积模块，更精确地根据不同的输入图像自身的信息，生成各个初始卷积核的权重，再通过初始卷积核及权重的加权和得到各自输入图像的动态卷积核，从而更精确地提取图像信息；
[0015]
(22)增加第四个分支以获得更高层次的语义信息，将高层次的语义信息与浅层细节信息进行融合，使福寿螺卵的检测结果更好。
[0016]
进一步地，在步骤(21)中使用动态卷积来提取图片特征信息，拥有更高的准确性；
[0017]
进一步地，在步骤(22)中使用四个尺度的特征融合，将高层次的语义信息与浅层细节信息进行融合，使神经网络对小目标的检测性能更好；
[0018]
步骤(3)中具体包括以下步骤：
[0019]
(31)针对数据集中目标的大小，使用k
‑
means聚类算法，计算适合福寿螺卵尺寸的anchors作为网络的超参数，加快网络收敛速度；
[0020]
(32)学习率使用余弦衰减的方式，从初始值进行衰减，使神经网络能够达到更好的检测结果；
[0021]
(33)在神经网络上尝试不同的训练超参数，进行训练，当损失函数收敛或者达到最大迭代次数时，停止训练得到可用于福寿螺卵检测的网络文件和权重文件；
[0022]
进一步地，步骤(31)中使用iou值进行k
‑
means聚类，在采集到的数据集上生成12个大小不同的先验框，分别对应四个大小不同的尺度，每个尺度均对应四个先验框；
[0023]
进一步地，步骤(32)中利用余弦函数进行学习率衰减，余弦衰减学习率计算公式如下：
[0024]
global_step＝min(global_step,decay_steps)
[0025]
cosine_decay＝0.5*(1 cos(pi*global_step/decay_steps))
[0026]
decayed＝(1
‑
alpha)*cosine_decay alpha
[0027]
decayed_learning_rate＝learning_rate*decayed
[0028]
进一步地，步骤(33)中，根据经验和多次的尝试，在训练过程中尝试各种参数的取值，使网络得到更好的收敛效果。
[0029]
步骤(4)具体包括以下步骤：
[0030]
(41)将测试图像送入改进的darknet主干网络中，获取四个尺度的卷积特征图；
[0031]
(42)将四个尺度的特征进行分层融合；
[0032]
(43)通过darknet算法对卷积特征图进行处理，输出预测边界值与分类值；
[0033]
(44)设置阈值，通过非极大值抑制，只保留效果最好的检测框，其余的都过滤掉，若检测框效果都不好都过滤掉，过滤出最终的检测结果。
[0034]
有益效果：本发明提出了一种基于多尺度特征融合和动态卷积的福寿螺卵检测方法，通过在darknet的主干网网络的基础上使用四尺度特征融合，可以提取更深层的语义信息，增强了对小目标的识别能力；通过改进方式darknet的卷积方式，使用动态卷积，能更有效地提取特征，提升了福寿螺虫卵检测的准确率。
附图说明
[0035]
图1是本发明实施例的整体流程图；
[0036]
图2是本发明实施例步骤2的流程图；
[0037]
图3是本发明实施例步骤3的流程图；
[0038]
图4是本发明实施例步骤4的流程图；
[0039]
图5是本发明实施例中的检测结果图。
具体实施方式
[0040]
下面结合附图和具体实施例对本发明进行详细说明：
[0041]
如图1所示，一种基于多尺度特征融合和动态卷积的福寿螺卵检测方法，包括以下步骤：
[0042]
步骤1：获取数据集，采集针对福寿螺卵的航拍图像，并对其中的虫卵进行标注；
[0043]
步骤2：构建神经网络，使用darknet53作为骨干网络，将卷积核全部替换为动态卷积核，更精确地提取特征；再添加第四个针对更小目标的分支，与其它三个分支的特征进行融合，更准确地定位和识别小目标；
[0044]
步骤3：训练神经网络，将获得的福寿螺卵数据集送入神经网络进行训练，直至网络收敛；
[0045]
步骤4：图像检测，利用训练好的神经网络和权重文件来检测测试图像中的福寿螺卵；
[0046]
在本实施例中，具体采用以下技术方案：
[0047]
步骤1：利用无人机在太湖水域航拍，采集包含福寿螺卵的图片，再利用标注软件对死亡和鲜活两个种类的虫卵进行标注；
[0048]
步骤2：首先，增加第四个分支进行特征的提取，再利用动态卷积更有效地提取特征，最终将各特征融合，如图2所示，步骤2的具体展开步骤如下：
[0049]
步骤201：将darknet网络第十一层的特征与第三个分支提取的特征进行融合，再进行特征提取，形成第四个分支；
[0050]
步骤202：再利用动态方式生成动态卷积核替代darknet中的卷积核；
[0051]
步骤203：将利用动态卷积提取到的四个尺度特征进行融合；
[0052]
如图3所示，步骤3的具体展开步骤如下：
[0053]
步骤301：在对网络进行训练前，重新计算数据集的anchors，替换原始的anchors，使网络更容易收敛，收敛的更快，提高模型的iou；
[0054]
步骤302：使用imagenet预训练权重作为初始权重，设置学习率、迭代次数、batch_size等；学习率使用余弦衰减的方式，从初始值进行衰减，使神经网络能够达到更好的检测结果；
[0055]
步骤303：对输入图像进行增广，进行训练，当损失函数收敛或者达到最大迭代次数时，停止训练获得可用于福寿螺卵检测的权重文件。
[0056]
如图4所示，步骤4的具体展开步骤如下：
[0057]
步骤401：将测试图像送入改进的darknet主干网络中，获取四个尺度的卷积特征图；
[0058]
步骤402：将四个尺度的特征进行分层融合；
[0059]
步骤403：通过darknet算法对卷积特征图进行处理，输出预测边界框与分类值；
[0060]
步骤404：通过非极大值抑制，只保留效果最好的检测框，其余的都过滤掉，若检测框效果都不好，则都过滤掉，过滤出最终的检测结果。
[0061]
图5为福寿螺卵图像和使用本发明方法的检测结果，经检验，上述方法可达到96.0％的检测精确度。
[0062]
以上所述实施例仅为说明本发明的优选实施方式，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明保护范围之内。