密集柑橘数量检测方法、设备、存储介质及装置

1.本发明涉及柑橘检测领域，尤其涉及一种密集柑橘数量检测方法、设备、存储介质及装置。


背景技术：

2.随着深度学习的兴起和发展，智慧农业和农业自动化越来越受重视，使用深度学习进行目标检测已经成为了当下的研究热点，如何利用计算机视觉技术实现自然环境下较小尺寸的柑橘识别、重叠和遮挡的柑橘识别、纹路颜色与环境相近的柑橘识别、以及会导致重复计数的多角度图像里的柑橘识别等成为了密集柑橘检测的难解之题，如何进行精确的密集水果定位成为了实现水果早期估产的一个重要前提，同时也为采摘机器人提供了有效的技术支持。
3.目前主流的基于深度学习的目标检测算法都侧重于检测目标分散且规整的图像，应用到密集场景效果较差，且密集场景目标之间相似度很高，目标间隔较小，容易漏检。自然场景下，柑橘果实数目多，且可能会存在果实过小、粘连、相互遮挡或被果树枝叶遮挡等情况。当前针对密集目标的检测方法还较少，如果将用于稀疏目标的检测方法用于密集目标时，漏检误检情况会特别严重，检测正确率不高。
4.目标检测是计算机视觉的一部分，它主要根据整张图像内容进行描述，并结合目标物体的特征信息，确定该物体的类别与位置。密集目标检测任务与通用目标检测类似，均需要对输入图像中的目标进行定位，与之不同的是密集目标检测，由于密集场景的特殊性，不需要标注每种目标的类别，且被检测图像中的物体通常具有排列密集，易重叠等特征，如人群、超市商品、停车场车辆等。
5.当前基于深度学习的通用目标检测方法可以粗略的分为两种。一种是二阶段的基于区域建议(region proposal)的方法；另一种就是一阶段的基于端到端(end-to-end)的方法：yolo系列、ssd、retinanet等。
6.一阶段的基于端到端的检测方法，现有的yolo算法在检测时，由于空间约束性限制了yolo检测邻近目标的数量，使得其对聚集成群的小目标检测精度低，导致定位不准确。
7.二阶段的基于区域建议的检测方法中，裁剪会丢失信息、缩放会使物体变形丢失原有比例，从而影响识别的准确性；sppnet方法引入了空间金字塔池化层(spatial pyramid pooling，spp)，实现了多尺寸输入，使得输入图像的尺寸是任意的，但是sppnet对整张图计算卷积特征，包含多个单独的步骤，检测速度慢。
8.上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。


技术实现要素：

9.本发明的主要目的在于提供一种密集柑橘数量检测方法、设备、存储介质及装置，旨在解决现有技术中对密集柑橘的检测效果并不理想，导致检测精度低的技术问题。
10.为实现上述目的，本发明提供一种密集柑橘数量检测方法，所述密集柑橘数量检测方法包括以下步骤：
11.对待识别柑橘图像进行图像预处理，获得处理后的目标柑橘图像；
12.基于预设ds-yolo网络模型中可形变卷积网络对所述目标柑橘图像进行特征提取，获得包含密集柑橘形状特征和位置特征的特征图；
13.根据预设simam注意力机制对所述特征图进行特征融合，获得不同尺度的目标特征图；
14.根据所述目标特征图对应的候选框调整参数确定目标预测框的坐标和尺寸；
15.根据所述目标预测框的坐标和尺寸对所述待识别柑橘图像中的柑橘进行位置标记，根据标记结果确定所述待识别柑橘图像中的柑橘数量。
16.可选地，所述基于预设ds-yolo网络模型中可形变卷积网络对所述目标柑橘图像进行特征提取，获得包含密集柑橘形状特征和位置特征的特征图的步骤，包括：
17.基于预设ds-yolo网络模型中可形变卷积网络对所述目标柑橘图像进行采样，获得可形变采样点；
18.根据所述目标柑橘图像对所述可形变采样点的权重系数进行自适应调整，获得调整后的可形变采样点；
19.根据所述调整后的可形变采样点对所述目标柑橘图像进行特征提取，获得包含密集柑橘形状特征和位置特征的特征图。
20.可选地，所述根据预设simam注意力机制对所述特征图进行特征融合，获得不同尺度的目标特征图的步骤，包括：
21.根据预设simam注意力机制和预设能量函数计算所述特征图对应的神经元权重，根据计算结果确定目标神经元；
22.根据所述目标神经元对所述特征图进行特征融合，获得不同尺度的目标特征图。
23.可选地，所述根据所述目标神经元对所述特征图进行特征融合，获得不同尺度的目标特征图的步骤，包括：
24.根据所述目标神经元对所述特征图进行特征融合，获得特征融合后的第一特征图；
25.根据预设k-mean聚类算法对所述第一特征图进行anchor坐标匹配，获得目标检测尺度；
26.根据所述目标检测尺度对所述第一特征图进行多尺度检测，获得不同尺度的目标特征图。
27.可选地，所述基于预设ds-yolo网络模型对所述目标柑橘图像进行特征提取，获得包含密集柑橘形状特征和位置特征的特征图的步骤之前，还包括：
28.将采集的密集柑橘图像输入至原始yolov4模型中，获得预设尺度的特征图；
29.根据预设spp网络对预设尺度的特征图进行堆叠、卷积处理，获得处理后的特征图；
30.基于路径聚合网络对所述处理后的特征图进行特征融合处理，获得特征融合后的第二特征图；
31.基于所述第二特征图对应的检测尺度和所述检测尺度对应的候选框调整参数构
建ds-yolo网络模型。
32.可选地，所述基于所述第二特征图对应的检测尺度和所述检测尺度对应的候选框调整参数构建ds-yolo网络模型的步骤之后，还包括：
33.将所述ds-yolo网络模型中残差模块残差单元的卷积层替换为改进后的可形变卷积层，并在所述ds-yolo网络模型的路径聚合网络中添加所述预设simam注意力机制，生成新的ds-yolo网络模型；
34.将所述新的ds-yolo网络模型作为所述预设ds-yolo网络模型。
35.可选地，所述将所述新的ds-yolo网络模型作为所述预设ds-yolo网络模型的步骤之后，还包括：
36.通过未进行图像预处理的密集柑橘测试集对所述预设ds-yolo网络模型进行测试，获得测试结果；
37.根据预设平均检测精度对所述测试结果进行质量评估，根据质量评估结果确定所述测试结果的精确率。
38.此外，为实现上述目的，本发明还提出一种密集柑橘数量检测设备，所述密集柑橘数量检测设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的密集柑橘数量检测程序，所述密集柑橘数量检测程序配置为实现如上文所述的密集柑橘数量检测的步骤。
39.此外，为实现上述目的，本发明还提出一种存储介质，所述存储介质上存储有密集柑橘数量检测程序，所述密集柑橘数量检测程序被处理器执行时实现如上文所述的密集柑橘数量检测方法的步骤。
40.此外，为实现上述目的，本发明还提出一种密集柑橘数量检测装置，所述密集柑橘数量检测装置包括：
41.图像预处理模块，用于对待识别柑橘图像进行图像预处理，获得处理后的目标柑橘图像；
42.特征提取模块，用于基于预设ds-yolo网络模型中可形变卷积网络对所述目标柑橘图像进行特征提取，获得包含密集柑橘形状特征和位置特征的特征图；
43.特征融合模块，用于根据预设simam注意力机制对所述特征图进行特征融合，获得不同尺度的目标特征图；
44.柑橘检测模块，用于根据所述目标特征图对应的候选框调整参数确定目标预测框的坐标和尺寸；
45.所述柑橘检测模块，还用于根据所述目标预测框的坐标和尺寸对所述待识别柑橘图像中的柑橘进行位置标记，根据标记结果确定所述待识别柑橘图像中的柑橘数量。
46.本发明通过对待识别柑橘图像进行图像预处理，获得处理后的目标柑橘图像并基于预设ds-yolo网络模型中可形变卷积网络对目标柑橘图像进行特征提取，获得包含密集柑橘形状特征和位置特征的特征图，根据预设simam注意力机制对特征图进行特征融合，获得不同尺度的目标特征图，根据目标特征图对应的候选框调整参数确定目标预测框的坐标和尺寸；根据目标预测框的坐标和尺寸对待识别柑橘图像中的柑橘进行位置标记，根据标记结果确定待识别柑橘图像中的柑橘数量。由于本发明基于预设ds-yolo网络模型中可形变卷积网络和预设simam注意力机制对待识别柑橘图像进行特征融合，并根据不同尺度的
目标特征图对应的目标预测框对待识别柑橘图像中的柑橘进行数量检测，本发明相较于现有技术对密集柑橘的检测效果并不理想，导致检测精度低，本发明提升了模型的检测精度，实现了可靠性高的密集柑橘数量检测，以弥补现有技术的不足。
附图说明
47.图1是本发明实施例方案涉及的硬件运行环境的密集柑橘数量检测设备的结构示意图；
48.图2为本发明密集柑橘数量检测方法第一实施例的流程示意图；
49.图3为本发明密集柑橘数量检测方法第一实施例的原始yolov4模型结构示意图；
50.图4为本发明密集柑橘数量检测方法第一实施例的simam注意力机制示意图；
51.图5为本发明密集柑橘数量检测方法第一实施例的ds-yolo模型结构示意图；
52.图6为本发明密集柑橘数量检测方法第二实施例的流程示意图；
53.图7为本发明密集柑橘数量检测方法第二实施例的可形变卷积实现流程图；
54.图8为本发明密集柑橘数量检测装置第一实施例的结构框图。
55.本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
56.应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
57.参照图1，图1为本发明实施例方案涉及的硬件运行环境的密集柑橘数量检测设备结构示意图。
58.如图1所示，该密集柑橘数量检测设备可以包括：处理器1001，例如中央处理器(central processing unit，cpu)，通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(display)，可选用户接口1003还可以包括标准的有线接口、无线接口，对于用户接口1003的有线接口在本发明中可为usb接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真(wireless-fidelity，wi-fi)接口)。存储器1005可以是高速的随机存取存储器(random access memory，ram)，也可以是稳定的存储器(non-volatile memory，nvm)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
59.本领域技术人员可以理解，图1中示出的结构并不构成对密集柑橘数量检测设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
60.如图1所示，认定为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及密集柑橘数量检测程序。
61.在图1所示的密集柑橘数量检测设备中，网络接口1004主要用于连接后台服务器，与所述后台服务器进行数据通信；用户接口1003主要用于连接用户设备；所述密集柑橘数量检测设备通过处理器1001调用存储器1005中存储的密集柑橘数量检测程序，并执行本发明实施例提供的密集柑橘数量检测方法。
62.基于上述硬件结构，提出本发明密集柑橘数量检测方法的实施例。
63.参照图2，图2为本发明密集柑橘数量检测方法第一实施例的流程示意图，提出本
发明密集柑橘数量检测方法第一实施例。
64.在本实施例中，所述密集柑橘数量检测方法包括以下步骤：
65.步骤s10：对待识别柑橘图像进行图像预处理，获得处理后的目标柑橘图像。
66.需说明的是，本实施例的执行主体可以是具有密集柑橘数量检测功能的设备，所述设备可以是包含柑橘数量检测系统的计算设备，如：计算机、电脑、笔记本等，也可以是包含柑橘数量检测app的设备(如：手机、ipad)，所述柑橘数量检测app具有密集柑橘数量检测功能，该实施例以密集柑橘数量检测设备为说明，本实施例对此不做限制，在本实施例以及下述各实施例中以计算机为例对本发明密集柑橘数量检测方法进行说明。
67.可理解的是，待识别柑橘图像可以是指在自然环境中采集的需要进行柑橘数量检测的柑橘图像。所述柑橘图像包括较小尺寸的柑橘、重叠和遮挡的柑橘、纹路颜色与环境相近的柑橘等图像。例如：采集对象为自然环境下自然生长的柑橘图像，为模拟自然场景，在拍摄图像时，对晴天、阴天以及不同角度对柑橘植株进行拍摄，采集距离为1.0m～2.0m，共计2365张不同环境下的柑橘样本图像，每张图像包含50及以上个柑橘，图像分辨率为4032
×
3024像素。
68.应理解的是，对柑橘图像进行预处理包括图像清洗、图像裁剪、图像大小调整等处理操作，将预处理完成后的图像输入至预设ds-yolo网络模型中进行数量检测。
69.具体实现中，对采集到的密集柑橘图片进行整理和分类，去除无效图片和异常图片后，进行数据增广操作，包括图片裁剪、翻转、亮度调整等操作，避免背景干扰或冗余的目标信息，剔除不相关或冗余的特征。例如：首先，对采集到的密集柑橘图片进行整理和分类，去除无效图像和异常图像后(如：拍摄角度太偏，果实难以检测等图像)，图像清洗完成后，使用图像标注工具labelimg对图像中的柑橘进行标记，分别标注出柑橘的位置和类别，标注完成后，使用opencv库中的crop方法，对部分图片进行裁剪，避免背景干扰或冗余的目标信息，剔除不相关或冗余的特征，以减轻模型检测的处理负担，然后使用opencv库中的resize方法，将图像尺寸调整到416*416，将处理完成后的图像保存至预设文件夹中。
70.步骤s20：基于预设ds-yolo网络模型中可形变卷积网络对所述目标柑橘图像进行特征提取，获得包含密集柑橘形状特征和位置特征的特征图。
71.需说明的是，预设ds-yolo网络模型是预先训练好的用于对密集柑橘进行数量检测的模型。预设ds-yolo网络模型是基于d-cspdarnet53(可形变卷积特征提取网络)、panet、head检测算法构建的模型。
72.可理解的是，正常情况下，室外果园图像采集，存在着显著的类内变化，由于不同光照条件，相机视点等情况，导致采集到的柑橘图像尺寸多变，且柑橘数目多，因此通过预设ds-yolo网络模型中可形变卷积网络对所述目标柑橘图像进行特征提取，获得包含密集柑橘形状特征和位置特征的特征图，相较于传统的网络模型限制了几何变换建模的能力，只能以固定形状和大小的窗口进行扫描，而本方案中的预设ds-yolo网络模型能够对的不同密集柑橘的形状和尺寸进行识别，从而根据形状和尺寸进行自适应调整，更好进行特征提取。
73.进一步地，为提升模型检测精度，所述步骤s20之前，包括：将采集的密集柑橘图像输入至原始yolov4模型中，获得预设尺度的特征图；根据预设spp网络对预设尺度的特征图进行堆叠、卷积处理，获得处理后的特征图；基于路径聚合网络对所述处理后的特征图进行
特征融合处理，获得特征融合后的第二特征图；基于所述第二特征图对应的检测尺度和所述检测尺度对应的候选框调整参数构建ds-yolo网络模型。
74.需说明的是，通过采集的密集柑橘图像，并构建图像数据集，可以是将采集到的图像按照pascal voc数据集的格式将图像命名，同时创建名为annotations、imagesets、jpegimages的三个文件夹；数据集为自建数据集。所述图像数据集由果园中拍摄的图片与通过网上收集的图像组成，拍摄的4个因素分别为拍摄距离(0.5m/1.0m)、果实大小(大/小)、果实数量(多/中/少)、天气情况(阴天/晴天)，共计2365张，图像的分配率可以设置为4032
×
3024像素。对密集柑橘图像数据集中的图像进行预处理，例如：首先，对采集到的密集柑橘图像进行整理和分类，去除无效图像和异常图像后，图片清洗完成后，使用图像标注工具labelimg对图像中的柑橘进行标记，分别标注出柑橘的位置和类别，标注完成后，按照一定的比例将图片数据集划分为训练集和测试集作为模型的输入，其中训练集占总样本数的90％，测试集占总样本的10％，分别命名为train.txt和text.txt并保存到imagesets文件夹下的子文件夹main中。然后使用opencv库中的crop方法，对部分图片进行裁剪，避免背景干扰或冗余的目标信息，剔除不相关或冗余的特征，简化模型，然后使用opencv库中的resize方法，将图像尺寸调整到416*416，并将调整后的图像输入至原始yolov4模型中进行训练。上述数值不做具体限定，仅用作举例说明。
75.可理解的是，预设尺度是指基于原始yolov4模型进行特征提取的尺度，如：将调整后的图像输入至原始yolov4模型中，经过主干网络后，yolov4将输出13*13、26*26、52*52三个尺度的特征图，不同尺度的特征图包含不同维度的语义信息。预设spp网络是指原始yolov4模型中计算卷积特征的网络，如：spp(spatial pyramid pooling)网络结构。路径聚合网络是指对特征进行融合的网络。上述数值不做具体限定，仅用作举例说明。
76.应理解的是，检测尺度是指第二特征图对应的yolo检测头的尺度，每个检测头尺度中包含候选框调整参数，候选框调整参数包括置信度参数、调整长宽和坐标偏移量的参数和类别参数。
77.具体实现中，参考图3所示的原始yolov4模型结构示意图，将调整后的图像输入至原始yolov4模型中，经过主干网络后，yolov4将输出13*13、26*26、52*52三个尺度的特征图，在特征融合部分，13*13尺寸的特征图将进入spp(spatial pyramid pooling)结构中，spp把所获得的新特征图和进入网络前的特征图进行堆叠、卷积后输出到特征融合网络(路径聚合网络)panet中。panet将13*13的特征图进行两次上采样，结果分别与26*26、52*52的特征图堆叠后进行卷积，再自下而上的进行一系列类似的下采样加堆叠卷积，充分融合3种不同尺度特征图的特征，最后分别输出13*13，26*26，52*52三个yolo检测头。yolov4算法中每个检测头将包含3组候选框的调整参数，每组候选框的调整参数将包含1个置信度参数、4个调整长宽和坐标偏移量的参数和20个类别参数(voc2007数据集包含20个类别)。基于所述第二特征图对应的检测尺度和所述检测尺度对应的候选框调整参数构建ds-yolo网络模型，并通过这些调整参数，yolov4算法将调整候选框的坐标以及宽高生成最终的预测框，所述预测框用于对柑橘图像中的柑橘位置进行标定，从而最终确定柑橘数量。
78.进一步地，所述基于所述第二特征图对应的检测尺度和所述检测尺度对应的候选框调整参数构建ds-yolo网络模型的步骤之后，还包括：将所述ds-yolo网络模型中残差模块残差单元的卷积层替换为改进后的可形变卷积层，并在所述ds-yolo网络模型的路径聚
合网络中添加所述预设simam注意力机制，生成新的ds-yolo网络模型；将所述新的ds-yolo网络模型作为所述预设ds-yolo网络模型。
79.需说明的是，针对目标为密集柑橘、原始yolov4模型特征提取能力不足而导致的漏检问题进行改进获得新的ds-yolo网络模型，不仅进一步提升模型对尺寸变化较大的密集柑橘的检测能力，还提升了模型对柑橘特征的提取能力，训练速度快、且模型准确率高。ds-yolo网络模型是基于原始yolov4模型构建的，因此，为了解决原始yolov4算法中，仅使用三个检测尺度进行目标预测，针对密集柑橘容易造成漏检的问题，通过将ds-yolo网络模型中残差模块残差单元的卷积层替换为改进后的可形变卷积层，并在ds-yolo网络模型的路径聚合网络中添加所述预设simam注意力机制，生成新的ds-yolo网络模型。
80.可理解的是，由于不同光照条件，相机视点等情况，室外果园采集到的柑橘图像尺寸多变，柑橘与柑橘、柑橘与叶片之间存在严重重叠、遮挡，导致柑橘形状发生形变，这为柑橘识别带来了极大困难。因此，针对柑橘重叠、遮挡问题，使用改进后的可形变卷积(deformable convolution)代替ds-yolo网络模型中cspdarknet53网络部分残差单元的卷积层，即在d-cspdarknet53网络的dcsp模块中，使用更多具有偏移学习能力的可形变卷积层，使得模型可以根据柑橘图像改变随之确定形状和尺寸。在原始yolov4的特征融合网络中，添加simam注意力机制。simam注意力机制结合了通道维度和空间维度，推导出统一通道维度和空间维度的三维注意力权重，使得网络更加关注密集柑橘的深层特征空间信息。
81.进一步地，为了检测训练好的预设ds-yolo网络模型的检测精度，所述将所述新的ds-yolo网络模型作为所述预设ds-yolo网络模型的步骤之后，还包括：通过未进行图像预处理的密集柑橘测试集对所述预设ds-yolo网络模型进行测试，获得测试结果；根据预设平均检测精度对所述测试结果进行质量评估，根据质量评估结果确定所述测试结果的精确率。
82.需说明的是，未进行图像预处理的密集柑橘测试集是指在果园中拍摄的柑橘图像与通过网上收集的原始柑橘图像构建的图像数据集。将所述图像数据集中的原始柑橘图像输入至训练好的预设ds-yolo网络模型进行密集柑橘数量检测，输出数量结果。以平均检测精度作为模型的主要评价指标，用来评估密集柑橘检测模型结果的质量，以损失函数作为目标函数评价指标，评价模型预测值与真实值的差异程度。
83.应理解的是，平均检测精度用map(mean average precision)值来衡量，表示预测正确(正类负类)占总的比重；精确率(precision)指正确预测占全部预测为正的比例；召回率(recall)指正确预测为正的占全部实际为正的比例；f1值是精确率和召回率的调和均值。
84.具体实现中，模型训练完成后，使用未进行数据预处理的密集柑橘测试集进行效果验证，由于目标较小，为有效观察模型检测结果，本文截取了检测结果图像的一部分，结果显示，在相同训练参数下，本文提出的ds-yolo模型能够准确对自然场景下数目多且小、密集、遮挡等柑橘进行定位，而原yolov4模型则存在一定程度的漏检误检现象，进一步提高了密集柑橘的平均检测精度。
85.步骤s30：根据预设simam注意力机制对所述特征图进行特征融合，获得不同尺度的目标特征图。
86.需说明的是，预设simam注意力机制预先设置的用于提高对特征图像中柑橘特征
识别的注意力。预设simam注意力机制结合了通道维度和空间维度，为特征图推导出了统一通道维度和空间维度的注意力权重，该注意力进一步增强了网络对于重要信息的提取能力，不需要在原始网络中添加参数，且不提高模型参数量。
87.具体实现中，参考图4所示的simam注意力机制示意图，传统的卷积网络采用的是方块卷积，规则的采样点限制了其几何变换建模的能力，只能以固定形状和大小的窗口进行扫描。而可形变卷积核的各元素均有一个可学习的参数偏置量，使得可形变卷积的采样点可以根据特征图进行自适应调整，感受野可以随着物体的形状和尺寸的不同而改变。虽然可形变卷积使得采样点可以根据特征图进行自适应调整，更好进行特征提取，但是却可能会引入无用的上下信息，如背景等，因而，针对这个问题，本方法扩大了yolov4网络中可变形卷积层的使用范围，在cspdarknet53网络中使用了更多具有偏移学习能力的可形变卷积层，使可形变卷积能够在更大范围的特征层上控制采样，并在原有可形变卷积的基础上为每个采样点添加一个权重系数，用来区分这个采样点是否是目标区域，如果不是目标区域，那么这个点的权重就设为0，用于保证目标特征的准确提取。
88.步骤s40：根据所述目标特征图对应的候选框调整参数确定目标预测框的坐标和尺寸。
89.需说明的是，目标特征图对应的候选框调整参数是指不同尺度对应的候选框调整参数，参考图5所示的ds-yolo模型结构示意图，本方案中获得4种不同尺度特征图的特征，分别输出13*13、26*26、52*52、104*104四个yolo检测头。ds-yolo算法中每个检测头将包含3组候选框的调整参数，每组候选框的调整参数将包含1个置信度参数、4个调整长宽和坐标偏移量的参数和1个类别参数。通过这些调整参数，ds-yolo算法将调整候选框的坐标以及尺寸(宽高)生成目标预测框。
90.步骤s50：根据所述目标预测框的坐标和尺寸对所述待识别柑橘图像中的柑橘进行位置标记，根据标记结果确定所述待识别柑橘图像中的柑橘数量。
91.需说明的是，根据目标预测框的坐标和尺寸对待识别柑橘图像中的柑橘进行标注，即用预测框将柑橘框起，并根据预测框的数量确定柑橘图像中的柑橘数量。
92.本实施例通过对待识别柑橘图像进行图像预处理，获得处理后的目标柑橘图像并基于预设ds-yolo网络模型中可形变卷积网络对目标柑橘图像进行特征提取，获得包含密集柑橘形状特征和位置特征的特征图，根据预设simam注意力机制对特征图进行特征融合，获得不同尺度的目标特征图，根据目标特征图对应的候选框调整参数确定目标预测框的坐标和尺寸；根据目标预测框的坐标和尺寸对待识别柑橘图像中的柑橘进行位置标记，根据标记结果确定待识别柑橘图像中的柑橘数量。由于本实施例基于预设ds-yolo网络模型和预设simam注意力机制对待识别柑橘图像进行特征融合，并根据不同尺度的目标特征图对应的目标预测框对待识别柑橘图像中的柑橘进行数量检测，本实施例相较于现有技术对密集柑橘的检测效果并不理想，导致检测精度低，本实施例提升了模型的检测精度，实现了可靠性高的密集柑橘数量检测，以弥补现有技术的不足。
93.参考图6，图6为本发明第二实施例的流程示意图，基于上述图2所示的第一实施例，提出本发明密集柑橘数量检测方法的第二实施例。
94.在本实施例中，所述步骤s20包括：
95.步骤s201：基于预设ds-yolo网络模型中可形变卷积网络对所述目标柑橘图像进
行采样，获得可形变采样点。
96.需说明的是，可形变卷积网络是指代替原始yolov4网络模型cspdarknet53网络部分残差单元的卷积层的可形变卷积(deformable convolution)特征提取网络，所述特征提取网络是基于d-cspdarnet53算法构建的网络。由于可形变卷积网络可以在更大范围的特征层上控制采样，并在原有可形变卷积的基础上为每个采样点添加一个权重系数，用来区分这个采样点是否是目标区域，如果不是目标区域，那么这个点的权重就设为0，用于保证目标特征的准确提取。
97.可理解的是，可形变采样点是可形变卷积网络在对特征图进行采样设置的多个采样点，所述采样点对应一个权重系数，并根据权重系数大小判断该采样区域是否为目标区域，从而提升特征提取的精准性。
98.步骤s202：根据所述目标柑橘图像对所述可形变采样点的权重系数进行自适应调整，获得调整后的可形变采样点。
99.需说明的是，为了更好学习柑橘的形状和尺寸，可形变卷积核的各元素均有一个可学习的参数偏置量，使得可形变卷积的采样点可以根据特征图进行自适应调整，从而可以随着物体的形状和尺寸的不同而改变采样点的区域。进而更好的学习柑橘的形状和尺寸，避免柑橘由于被遮挡导致识别失败。
100.可理解的是，为了更好的进行特征提取，避免无用信息(如：背景)导致对识别结果的影响，通过对可形变采样点添加权重系数，并对权重系数进行自适应调整，根据权重系数确定目标区域，从而保证目标特征的准确提取。
101.步骤s203：根据所述调整后的可形变采样点对所述目标柑橘图像进行特征提取，获得包含密集柑橘形状特征和位置特征的特征图。
102.具体实现中，传统的卷积包括俩个步骤：1)在输入特征图上通过固定尺寸的卷积核进行采样；2)根据卷积核权重进行计算采样，并将计算结果相加。例如：将大小为3
×
3，扩张为1的卷积核定义为r，传统的卷积滑动窗口偏移向量为9点方格，中间向8个方向偏移8个点：
103.r＝{(-1,-1),(-1,0),......,(0,1),(1,1)}；
104.则对于输出特征图y上的每个位置p0，传统的卷积可表示为：
[0105][0106]
其中，卷积中每个像素点pn有权重w，p0代表卷积窗口输出的每个像素点，x为输入特征图。
[0107]
可变形卷积在传统的卷积核的每个采样点位置上都增加一个2维偏置量{δpn|n＝1,...,n},n＝|r|。
[0108]
如图7所示的可形变卷积实现流程图，对于输出特征图y上的每个位置p0，可变形卷积的计算过程如下：
[0109][0110]
为解决可形变卷积引入了一些无用的上下信息问题，在原有可形变卷积的基础上为每个采样点添加一个权重系数，用来区分这个采样点是否是目标区域，如果不是目标区
域，那么这个点的权重就设为0，δwn∈[0,1]。
[0111][0112]
由于偏移量δpn通常是小数，因此需要通过双线性插值方法来计算卷积后的特征图x：
[0113][0114]
其中，p表示偏移后的任意位置，即p＝p0 pn δpn，q为特征图中所有的点的空间位置，g(
·
,
·
)为该点所对应的权重，可分为两个一维内核：
[0115]
g(q,p)＝g(q
x
,p
x
)
·
g(qy,py)；
[0116]
其中，
[0117]
g(a,b)＝max(0,1-|a-b|)。
[0118]
在本实施例中，所述步骤s30包括：
[0119]
步骤s301：根据预设simam注意力机制和预设能量函数计算所述特征图对应的神经元权重，根据计算结果确定目标神经元。
[0120]
需说明的是，预设能量函数时预先设置的用于计算注意力权重的函数。
[0121]
具体实现中，simam注意力机制主要从神经科学理论出发，预先设计了一种能量函数来计算注意力的权重，权重函数定义如下：
[0122][0123]
其中，
[0124][0125]
分别代表输入特征图的目标神经元和其他神经元，x∈rc×h×w，i指空间维度上的索引，m＝h
×
w代表某个通道上所有神经元的个数，w
t
和b
t
分别指某个神经元变换是的权重和偏差，引入二进制标签代替y
t
和y0，取值分别为1和-1，求解最小化的e
t
，判别当前目标神经元和其他神经元的线性可分性，最终得到的权重函数如下：
[0126][0127]
理论上，每个通道有m＝h
×
w个权重函数，求得如下解析解：
[0128][0129]
其中，分别把w
t
和b
t
代入原公式，就可以求出最小权值：
[0130][0131]
从统计角度，为减少计算量，和可以分别由均值和方差代替，均值
方差方差值越小，当前目标神经元和其他神经元越可分，则该目标神经元越重要。
[0132]
步骤s302：根据所述目标神经元对所述特征图进行特征融合，获得不同尺度的目标特征图。
[0133]
需说明的是，通过目标神经元对所述特征图进行特征融合，从而使得关注密集柑橘的深层特征空间信息，进而提升模型对特征融合的速率和精准性。
[0134]
进一步地，所述步骤s302包括：根据所述目标神经元对所述特征图进行特征融合，获得特征融合后的第一特征图；根据预设k-mean聚类算法对所述第一特征图进行anchor坐标匹配，获得目标检测尺度；根据所述目标检测尺度对所述第一特征图进行多尺度检测，获得不同尺度的目标特征图。
[0135]
需说明的是，由于原始网络的anchor尺寸不适用于密集目标，因此通过目标神经元对所述特征图进行特征融合，获得特征融合后的第一特征图，并采用k-means聚类算法进行anchor坐标匹配，计算出适用于第一特征图数据集的anchor的尺寸以及目标检测尺度，并根据anchor的尺寸以及目标检测尺度对第一特征图进行多尺度检测，获得不同尺度的目标特征图。
[0136]
具体实现中，在特征融合模块中，使用k-means方法匹配新的anchor坐标，增加了多个检测尺度，进一步提高了模型的检测精度，将原始yolov4网络中的3个检测尺度拓展为4个。原有yolov4的多尺度检测结构只有三层，针对密集目标容易造成漏检，因此在原有网络结构的基础上，增加了104
×
104尺度的特征图，用以减少小目标误检率。由于原始网络的anchor尺寸不适用于密集目标，因此采用k-mean聚类方法计算出适用于第一特征图数据集的12个anchor大小，分别对应四个特征层(检测尺度)，一个特征层对应三个anchor boxes，应用到训练网络中得出，12个anchor boxes尺寸分别为：3
×
4,5
×
6,6
×
8,7
×
11,8
×
10,9
×
12,10
×
14,11
×
11,11
×
16,13
×
15,14
×
18,18
×
23。在第11个csp层后，继续对特征图进行上采样等处理，使得特征图继续扩大，同时在第19个csp层时，将获取到的大小为52
×
52的特征图与骨干网络中第3层特征图进行张量拼接融合，得到104
×
104大小的特征图便于小目标物体的检测。整个模型在改进以后共使用四层检测层(检测尺度)来进行检测，使得网络深度进一步加深，可以更好在更深层次的网络中提取特征信息，以便能增强模型在密集目标下多尺度学习的能力，从而更好地学习密集目标的多级特征信息，提升模型在密集场景下的检测性能。
[0137]
本实施例通过对待识别柑橘图像进行图像预处理，获得处理后的目标柑橘图像并基于预设ds-yolo网络模型中可形变卷积网络对所述目标柑橘图像进行采样，获得可形变采样点；根据所述目标柑橘图像对所述可形变采样点的权重系数进行自适应调整，获得调整后的可形变采样点；根据所述调整后的可形变采样点对所述目标柑橘图像进行特征提取，获得包含密集柑橘形状特征和位置特征的特征图，根据预设simam注意力机制和预设能量函数计算所述特征图对应的神经元权重，根据计算结果确定目标神经元；根据所述目标神经元对所述特征图进行特征融合，获得不同尺度的目标特征图，根据目标特征图对应的候选框调整参数确定目标预测框的坐标和尺寸；根据目标预测框的坐标和尺寸对待识别柑橘图像中的柑橘进行位置标记，根据标记结果确定待识别柑橘图像中的柑橘数量。由于本
实施例基于预设ds-yolo网络模型和预设simam注意力机制对待识别柑橘图像进行特征融合，并根据不同尺度的目标特征图对应的目标预测框对待识别柑橘图像中的柑橘进行数量检测，本实施例相较于现有技术对密集柑橘的检测效果并不理想，导致检测精度低，本实施例提升了模型的检测精度，实现了可靠性高的密集柑橘数量检测，以弥补现有技术的不足。
[0138]
此外，为实现上述目的，本发明还提出一种存储介质，所述存储介质上存储有密集柑橘数量检测程序，所述密集柑橘数量检测程序被处理器执行时实现如上文所述的密集柑橘数量检测方法的步骤。
[0139]
参照图8，图8为本发明密集柑橘数量检测装置第一实施例的结构框图。
[0140]
如图8所示，本发明实施例提出的密集柑橘数量检测装置包括：
[0141]
图像预处理模块10，用于对待识别柑橘图像进行图像预处理，获得处理后的目标柑橘图像；
[0142]
特征提取模块20，用于基于预设ds-yolo网络模型中可形变卷积网络对所述目标柑橘图像进行特征提取，获得包含密集柑橘形状特征和位置特征的特征图；
[0143]
特征融合模块30，用于根据预设simam注意力机制对所述特征图进行特征融合，获得不同尺度的目标特征图；
[0144]
柑橘检测模块40，用于根据所述目标特征图对应的候选框调整参数确定目标预测框的坐标和尺寸；
[0145]
所述柑橘检测模块40，还用于根据所述目标预测框的坐标和尺寸对所述待识别柑橘图像中的柑橘进行位置标记，根据标记结果确定所述待识别柑橘图像中的柑橘数量。
[0146]
本实施例通过对待识别柑橘图像进行图像预处理，获得处理后的目标柑橘图像并基于预设ds-yolo网络模型中可形变卷积网络对目标柑橘图像进行特征提取，获得包含密集柑橘形状特征和位置特征的特征图，根据预设simam注意力机制对特征图进行特征融合，获得不同尺度的目标特征图，根据目标特征图对应的候选框调整参数确定目标预测框的坐标和尺寸；根据目标预测框的坐标和尺寸对待识别柑橘图像中的柑橘进行位置标记，根据标记结果确定待识别柑橘图像中的柑橘数量。由于本实施例基于预设ds-yolo网络模型和预设simam注意力机制对待识别柑橘图像进行特征融合，并根据不同尺度的目标特征图对应的目标预测框对待识别柑橘图像中的柑橘进行数量检测，本实施例相较于现有技术对密集柑橘的检测效果并不理想，导致检测精度低，本实施例提升了模型的检测精度，实现了可靠性高的密集柑橘数量检测，以弥补现有技术的不足。
[0147]
进一步地，所述特征提取模块20还用于基于预设ds-yolo网络模型中可形变卷积网络对所述目标柑橘图像进行采样，获得可形变采样点；根据所述目标柑橘图像对所述可形变采样点的权重系数进行自适应调整，获得调整后的可形变采样点；根据所述调整后的可形变采样点对所述目标柑橘图像进行特征提取，获得包含密集柑橘形状特征和位置特征的特征图。
[0148]
进一步地，所述特征融合模块30还用于根据预设simam注意力机制和预设能量函数计算所述特征图对应的神经元权重，根据计算结果确定目标神经元；根据所述目标神经元对所述特征图进行特征融合，获得不同尺度的目标特征图。
[0149]
进一步地，所述特征融合模块30还用于根据所述目标神经元对所述特征图进行特征融合，获得特征融合后的第一特征图；根据预设k-mean聚类算法对所述第一特征图进行
anchor坐标匹配，获得目标检测尺度；根据所述目标检测尺度对所述第一特征图进行多尺度检测，获得不同尺度的目标特征图。
[0150]
进一步地，所述密集柑橘数量检测装置还包括：模型构建模块，所述模型构建模块用于将采集的密集柑橘图像输入至原始yolov4模型中，获得预设尺度的特征图；根据预设spp网络对预设尺度的特征图进行堆叠、卷积处理，获得处理后的特征图；基于路径聚合网络对所述处理后的特征图进行特征融合处理，获得特征融合后的第二特征图；基于所述第二特征图对应的检测尺度和所述检测尺度对应的候选框调整参数构建ds-yolo网络模型。
[0151]
进一步地，所述模型构建模块还用于将所述ds-yolo网络模型中残差模块残差单元的卷积层替换为改进后的可形变卷积层，并在所述ds-yolo网络模型的路径聚合网络中添加所述预设simam注意力机制，生成新的ds-yolo网络模型；将所述新的ds-yolo网络模型作为所述预设ds-yolo网络模型。
[0152]
进一步地，所述模型构建模块还用于通过未进行图像预处理的密集柑橘测试集对所述预设ds-yolo网络模型进行测试，获得测试结果；根据预设平均检测精度对所述测试结果进行质量评估，根据质量评估结果确定所述测试结果的精确率。
[0153]
应当理解的是，以上仅为举例说明，对本发明的技术方案并不构成任何限定，在具体应用中，本领域的技术人员可以根据需要进行设置，本发明对此不做限制。
[0154]
需要说明的是，以上所描述的工作流程仅仅是示意性的，并不对本发明的保护范围构成限定，在实际应用中，本领域的技术人员可以根据实际的需要选择其中的部分或者全部来实现本实施例方案的目的，此处不做限制。
[0155]
另外，未在本实施例中详尽描述的技术细节，可参见本发明任意实施例所提供的密集柑橘数量检测方法，此处不再赘述。
[0156]
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
[0157]
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。词语第一、第二、以及第三等的使用不表示任何顺序，可将这些词语解释为名称。
[0158]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如只读存储器镜像(read only memory image，rom)/随机存取存储器(random access memory，ram)、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
[0159]
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。