基于深度学习的葡萄及其采摘点同步识别定位方法、装置

1.本技术涉及机器视觉技术领域，特别是涉及一种基于深度学习的葡萄及其采摘点同步识别定位方法、装置。


背景技术：

2.葡萄是日常生活中最常见的水果，每年在全世界范围内的产量可达到7500万吨。葡萄常采用人工的方式进行采摘，这种采摘方式非常耗时并且低效。另外，葡萄种植园一般地势平台，环境可控。综合上述，对葡萄进行智能化采摘非常有必要并且葡萄的种植场景决定了葡萄非常适合智能化采摘。
3.对于智能化的葡萄采摘而言，葡萄的视觉识别以及采摘点预测是智能化采摘中非常重要的一步，也是后续采摘操作的基础。首先，葡萄的视觉识别常采用深度学习模型，包括rcnn模型、yolo模型等。rcnn模型一般预测葡萄串区域的掩膜，包含了详细的葡萄区域，预测精度高，但是速度慢；yolo模型则预测葡萄串区域的边界框，预测速度快。实际上，常规的葡萄识别任务仅需要获取葡萄串区域的边界框，所以较多采用yolo模型，但是目前yolo模型比较复杂。其次，葡萄采摘点的预测一般需要先通过深度学习模型预测葡萄区域，进而根据葡萄区域的掩膜或者边界框进行采摘点的计算，这种计算方法速度慢且准确性欠佳，并且对葡萄区域的识别具有依赖性。


技术实现要素：

4.基于此，有必要针对上述技术问题，提供一种能够提高采摘点检测速度的基于深度学习的葡萄及其采摘点同步识别定位方法、装置。
5.一种基于深度学习的葡萄及其采摘点同步识别定位方法，所述方法包括：采集葡萄图像并标注，构建模型训练数据集；将模型训练数据集输入初始yolo v4模型，对初始yolo v4模型进行训练，得到改造后的yolo v4模型；其中，所述初始yolo v4模型采用简便线性变换操作替换原始yolo v4模型中backbone中的部分卷积操作，并改造heads使其采用包括采摘点的坐标的数据输出格式；所述模型训练数据集中标注的标签格式如下：其中，class为类别，该数据集中只有葡萄一个类别，因此数值为0；为葡萄边框中心点的坐标，分别为葡萄边框宽度、高度；为葡萄串的采摘点的坐标，均进行归一化处理，数值范围为0~1；获取待检测的葡萄图像；将所述待检测的葡萄图像输入改造后的yolo v4模型，得到葡萄边框位置数据和采摘点的坐标；其中，采用改造后的yolo v4模型中轻量化backbone进行葡萄边框特征和采
摘点特征提取，再通过neck进行加强特征，再通过heads进行特征解析，得到葡萄边框位置数据和采摘点的坐标；其中，简便线性变换操作的公式如下：其中，是前一步卷积操作后获得的第i个特征图；是第j个线性操作用来生成第j个特征图；改造heads输出解析后的模型预测结果，表示如下：其中，score是置信度，表示模型预测结果的可能性大小；为葡萄边框中心点坐标，分别为葡萄边框的宽度的预测值、高度的预测值；为葡萄串的采摘点的坐标的预测值。
6.在其中一个实施例中，所述将所述待检测的葡萄图像输入改造后的yolo v4模型，得到葡萄边框位置数据和采摘点的坐标，包括：将待检测的葡萄图像输入改造后的yolo v4模型中轻量化backbone，通过轻量化backbone提取葡萄边框特征和采摘点特征；将葡萄边框特征和采摘点特征使用neck进行特征加强，生成3个不同尺度的特征图；将3个不同尺度的特征图分别分割成个网格；其中，ni为正整数；对每个网格分别使用3个预设的锚框进行预测，得到网格对应的预测结果；所述锚框预测的结果由葡萄边框的位置及尺寸元素、置信度元素、类别元素以及表示采摘点坐标的元素组成；对所有网格对应的预测结果采用非极大值抑制方法进行筛选，得到葡萄边框位置数据和采摘点的坐标。
7.在其中一个实施例中，葡萄边框的位置及尺寸元素的解析公式如下：在其中一个实施例中，葡萄边框的位置及尺寸元素的解析公式如下：在其中一个实施例中，葡萄边框的位置及尺寸元素的解析公式如下：在其中一个实施例中，葡萄边框的位置及尺寸元素的解析公式如下：其中，为sigmoid函数；、为预测的葡萄边框中心点相对于所处的网格左上角角点的偏移量，、为预测的葡萄边框的宽、高度的初步预测值；、为预测的葡萄边框中心所处的网格左上角角点的坐标，、为anchor box的尺寸；采摘点坐标的元素的解析公式如下：
其中，tanh为双曲正切函数；、为预测采摘点相对于所处的网格左上角角点的偏移量。
8.在其中一个实施例中，初始yolo v4模型的损失函数为组合损失函数，其包括分类损失、置信度损失、边界框损失以及采摘点损失，计算公式如下：其中，是模型总损失，是分类损失项，是置信度损失项，是边界框损失项， 是采摘点损失项。
9.在其中一个实施例中，所述改造后的yolo v4模型包括如下组成部分：backbone，用于图像特征提取，由卷积神经网络模型组成，包括卷积层、简便线性变换操作、池化层、bn层和激活函数；neck，连接backbone与heads，用于为heads生成不同尺度的特征图；heads，基于neck生成的特征图进行目标检测，由3个头部组成，允许进行3个尺度下的目标检测。
10.一种基于深度学习的葡萄及其采摘点同步识别定位装置，所述装置包括：标注模块，用于采集葡萄图像并标注，构建模型训练数据集；训练模块，用于将模型训练数据集输入初始yolo v4模型，对初始yolo v4模型进行训练，得到改造后的yolo v4模型；其中，所述初始yolo v4模型采用简便线性变换操作替换原始yolo v4模型中backbone中的部分卷积操作，并改造heads使其采用包括采摘点的坐标的数据输出格式；所述模型训练数据集中标注的标签格式如下：其中，class为类别，该数据集中只有葡萄一个类别，因此数值为0；为葡萄边框中心点的坐标，分别为葡萄边框宽度、高度；为葡萄串的采摘点的坐标，均进行归一化处理，数值范围为0~1；待检测图像获取模块，用于获取待检测的葡萄图像；目标计算模块，用于将所述待检测的葡萄图像输入改造后的yolo v4模型，得到葡萄边框位置数据和采摘点的坐标；其中，采用改造后的yolo v4模型中轻量化backbone进行葡萄边框特征和采摘点特征提取，再通过neck进行加强特征，再通过heads进行特征解析，得到葡萄边框位置数据和采摘点的坐标；其中，简便线性变换操作的公式如下：其中，是前一步卷积操作后获得的第i个特征图；是第j个线性操作用来生成第j个特征图；改造heads输出解析后的模型预测结果，表示如下：
其中，score是置信度，表示模型预测结果的可能性大小；为葡萄边框中心点坐标，分别为葡萄边框的宽度的预测值、高度的预测值；为葡萄串的采摘点的坐标的预测值。
11.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：采集葡萄图像并标注，构建模型训练数据集；将模型训练数据集输入初始yolo v4模型，对初始yolo v4模型进行训练，得到改造后的yolo v4模型；其中，所述初始yolo v4模型采用简便线性变换操作替换原始yolo v4模型中backbone中的部分卷积操作，并改造heads使其采用包括采摘点的坐标的数据输出格式；所述模型训练数据集中标注的标签格式如下：其中，class为类别，该数据集中只有葡萄一个类别，因此数值为0；为葡萄边框中心点的坐标，分别为葡萄边框宽度、高度；为葡萄串的采摘点的坐标，均进行归一化处理，数值范围为0~1；获取待检测的葡萄图像；将所述待检测的葡萄图像输入改造后的yolo v4模型，得到葡萄边框位置数据和采摘点的坐标；其中，采用改造后的yolo v4模型中轻量化backbone进行葡萄边框特征和采摘点特征提取，再通过neck进行加强特征，再通过heads进行特征解析，得到葡萄边框位置数据和采摘点的坐标；其中，简便线性变换操作的公式如下：其中，是前一步卷积操作后获得的第i个特征图；是第j个线性操作用来生成第j个特征图；改造heads输出解析后的模型预测结果，表示如下：其中，score是置信度，表示模型预测结果的可能性大小；为葡萄边框中心点坐标，分别为葡萄边框的宽度的预测值、高度的预测值；为葡萄串的采摘点的坐标的预测值。
12.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：采集葡萄图像并标注，构建模型训练数据集；将模型训练数据集输入初始yolo v4模型，对初始yolo v4模型进行训练，得到改造后的yolo v4模型；其中，所述初始yolo v4模型采用简便线性变换操作替换原始yolo v4模型中backbone中的部分卷积操作，并改造heads使其采用包括采摘点的坐标的数据输出格式；所述模型训练数据集中标注的标签格式如下：
其中，class为类别，该数据集中只有葡萄一个类别，因此数值为0；为葡萄边框中心点的坐标，分别为葡萄边框宽度、高度；为葡萄串的采摘点的坐标，均进行归一化处理，数值范围为0~1；获取待检测的葡萄图像；将所述待检测的葡萄图像输入改造后的yolo v4模型，得到葡萄边框位置数据和采摘点的坐标；其中，采用改造后的yolo v4模型中轻量化backbone进行葡萄边框特征和采摘点特征提取，再通过neck进行加强特征，再通过heads进行特征解析，得到葡萄边框位置数据和采摘点的坐标；其中，简便线性变换操作的公式如下：其中，是前一步卷积操作后获得的第i个特征图；是第j个线性操作用来生成第j个特征图；改造heads输出解析后的模型预测结果，表示如下：其中，score是置信度，表示模型预测结果的可能性大小；为葡萄边框中心点坐标，分别为葡萄边框的宽度的预测值、高度的预测值；为葡萄串的采摘点的坐标的预测值。
13.上述基于深度学习的葡萄及其采摘点同步识别定位方法、装置、计算机设备和存储介质，通过改造后的yolo v4模型，相比于其它的网络模型，其只有一个阶段的数据处理，能够很快的获得目标数据，并且改造后的yolo v4模型中轻量化backbone进行葡萄边框特征和采摘点特征提取，能够加快特征的处理速度，通过neck进行加强特征，再通过heads进行特征解析，可以准确的获得葡萄边框位置数据和采摘点的坐标，本技术这种处理方式，在准确的获得葡萄边框位置数据和采摘点的坐标情况下，可以提高采摘机器人的采摘效率。
附图说明
14.图1为一个实施例中基于深度学习的葡萄及其采摘点同步识别定位方法的流程示意图；图2为一个实施例中改造后的yolo v4模型的结构示意图；图3为一个实施例中采摘点预测结构解析图；图4为一个实施例中基于深度学习的葡萄及其采摘点同步识别定位装置的结构框图；图5为一个实施例中计算机设备的内部结构图。
具体实施方式
15.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
16.在一个实施例中，如图1所示，提供了一种基于深度学习的葡萄及其采摘点同步识别定位方法，包括以下步骤：s110，获取待检测的葡萄图像。
17.其中，待检测的葡萄图像通过安装在采摘机器人的摄像头获取。通过摄像头获取的待检测的葡萄图像发送至机器人内置服务器或者后台服务器进行处理。
18.s120，将所述待检测的葡萄图像输入改造后的yolo v4模型，得到葡萄边框位置数据和采摘点的坐标；其中，采用改造后的yolo v4模型中轻量化backbone进行葡萄边框特征和采摘点特征提取，再通过neck进行加强特征，再通过heads进行特征解析，得到葡萄边框位置数据和采摘点的坐标。
19.其中，机器人内置服务器或者后台服务器中部署了改造后的yolo v4模型，通过改造后的yolo v4模型对待检测的葡萄图像进行处理，得到葡萄边框位置数据和采摘点的坐标。
20.上述基于深度学习的葡萄及其采摘点同步识别定位方法中，通过改造后的yolo v4模型，相比于其它的网络模型，其只有一个阶段的数据处理，能够很快的获得目标数据，并且改造后的yolo v4模型中轻量化backbone进行葡萄边框特征和采摘点特征提取，能够加快特征的处理速度，通过neck进行加强特征，再通过heads进行特征解析，可以准确的获得葡萄边框位置数据和采摘点的坐标，本技术这种处理方式，在准确的获得葡萄边框位置数据和采摘点的坐标情况下，可以提高采摘机器人的采摘效率。
21.在其中一个实施例中，所述将所述待检测的葡萄图像输入改造后的yolo v4模型，得到葡萄边框位置数据和采摘点的坐标，包括：将待检测的葡萄图像输入改造后的yolo v4模型中轻量化backbone，通过轻量化backbone提取葡萄边框特征和采摘点特征；将葡萄边框特征和采摘点特征使用neck进行特征加强，生成3个不同尺度的特征图；将3个不同尺度的特征图分别分割成个网格；其中，ni为正整数；对每个网格分别使用3个预设的锚框进行预测，得到网格对应的预测结果；所述锚框预测的结果由葡萄边框的位置及尺寸元素、置信度元素、类别元素以及表示采摘点坐标的元素组成；对每个网格对应的预测结果进行解析，得到葡萄边框位置数据和采摘点的坐标。
22.其中，在现有yolo v4模型backbone中使用简便线性变换操作（ru-ghost）替换了至少一个残差组件（res unit）中的卷积层生成轻量化backbone，轻量化backbone通过简便线性变换操作替代了复杂的残差计算，从而使得葡萄边框特征和采摘点特征提取速度更快。
23.其中，heads基于neck生成3个不同尺度的特征图分别分割成个网格，n1、n2和n3的大小根据目标检测的精确度确定，例如，n1×
n1可为20
×
20，n2×
n2可为40
×
40，n3×
n3可为80
×
80。
24.其中，每个预设的锚框对网格进行预测都能得到一个预测的结果，那么3个预设的
锚框会根据同一网格产生3个预测的结果。每个锚框预测的结果由8个元素组成，分别由4个葡萄边框的位置及尺寸元素、1个置信度元素、1个类别元素以及2个表示采摘点坐标的元素组成。例如，锚框预测的结果为：；其中，score是置信度，表示模型预测结果的可能性大小；为葡萄边框中心点坐标，分别为葡萄边框的宽度的预测值、高度的预测值；为葡萄串的采摘点的坐标的预测值。在一个待检测的葡萄图像中，可能存在多挂葡萄，模型识别到多挂葡萄的葡萄边框和采摘点。
25.在其中一个实施例中，如图4所示，图中1表示待检测的葡萄图像，2表示网格，3表示图像原点，4表示网格的角点，5表示采摘点，6表示葡萄边框的中心点，7表示葡萄边框，葡萄边框的位置及尺寸元素的解析公式如下：萄边框的位置及尺寸元素的解析公式如下：萄边框的位置及尺寸元素的解析公式如下：萄边框的位置及尺寸元素的解析公式如下：其中，为sigmoid函数；、为预测的葡萄边框中心点相对于所处的网格左上角角点的偏移量，、为预测的葡萄边框的宽、高度的初步预测值；、为预测的葡萄边框中心所处的网格左上角角点的坐标，、为anchor box的尺寸；采摘点坐标的元素的解析公式如下：采摘点坐标的元素的解析公式如下：其中，tanh为双曲正切函数；、为预测采摘点相对于所处的网格左上角角点的偏移量。
26.在其中一个实施例中，基于深度学习的葡萄及其采摘点同步识别定位方法还包括：采集葡萄图像并标注，构建模型训练数据集；将模型训练数据集输入初始yolo v4模型，对初始yolo v4模型进行训练，得到改造后的yolo v4模型；其中，所述初始yolo v4模型采用简便线性变换操作替换原始yolo v4模型中backbone中的部分卷积操作，并改造heads使其采用包括采摘点的坐标的数据输出格式。
27.具体的，通过相机或者网络上搜集葡萄图像，图像的分辨率不限，而后利用labelimg标注葡萄边框与采摘点。由于labelimg不具备采摘点的标注功能，因此采摘点也通过边界框标注的方式进行标注，边界框类别为采摘点，边界框的中心点坐标代表采摘点坐标。共采集300张葡萄图像，共标注4384个葡萄边框、4384个采摘点，每个葡萄边框匹配一个采摘点。在训练数据集中，242张葡萄图像及其标签作为训练集，58张图像及其标签作为测试集。基于原始yolo v4模型构建葡萄及其采摘点同步识别定位模型，模型的输入图像尺寸为640
×
640，由简便线性变换操作替换原有backbone（cspdarknet53）中残差模块的卷积
层，从而达到使模型轻量化的目的。另外，改造yolo v4模型heads，在每个anchor box的预测结果中加入采摘点的坐标项，使其模型具有同步预测采摘点的功能。如图2所示，本实施例构建的模型中，heads中输出的预测结果通道为24（由3个锚框预测，每个锚框预测的结果由8个元素组成，则每个网格对应24个结果数据）。在3个尺度下，网格的尺寸分别为20
×
20、40
×
40、80
×
80，因此，在3个尺度下，输出结果的尺寸分别为20
×
20
×
24、40
×
40
×
24、80
×
80
×
24。每个网格由3个anchor box进行预测，其中每个锚框预测的结果由8个元素组成，分别由4个葡萄边框的位置及尺寸元素、1个置信度元素、1个类别元素以及2个表示采摘点坐标的元素组成。
28.将搭建好的初始yolo v4模型以及在conda环境中，通过模型训练数据集进行训练，训练过程中利用nvidia titan trx (24 gb memory)加速训练；设置训练的batch size为8，初始的学习率为0.01，epoch为300。根据设置，训练集可以分为31个batch，每个batch具有8张葡萄图像。训练所采用的损失为组合损失，组合损失共由4项损失项组成，分别为边界框损失项（giou）、采摘点损失项、类别损失项、置信度损失项。训练过程中，每完成一次epoch计算一次平均准确率（map），并将map最高的模型参数保存。
29.在其中一个实施例中，所述模型训练数据集中标注的标签格式如下：其中，class为类别，该数据集中只有葡萄一个类别，因此数值为0；为葡萄边框中心点的坐标，分别为葡萄边框宽度、高度；为葡萄串的采摘点的坐标，均进行归一化处理，数值范围为0~1；简便线性变换操作的公式如下：其中，是前一步卷积操作后获得的第i个特征图；是第j个线性操作用来生成第j个特征图；改造heads输出解析后的模型预测结果，表示如下：其中，score是置信度，表示模型预测结果的可能性大小；为葡萄边框中心点坐标，分别为葡萄边框的宽度的预测值、高度的预测值；为葡萄串的采摘点的坐标的预测值。
30.在其中一个实施例中，初始yolo v4模型的损失函数为组合损失函数，其包括分类损失、置信度损失、边界框损失以及采摘点损失，计算公式如下：其中，是模型总损失，是分类损失项，是置信度损失项，是边界框损失项，是采摘点损失项。其中，采摘点损失项可通过葡萄串的采摘点的真实值与葡萄串的采摘点的预测值之间的欧式距离计算得到。本实施例中，相比于传统的模型
损失函数构建，通过将分类损失项、置信度损失项、边界框损失项和采摘点损失项组合，可提高最终训练的模型的准确性。
31.在其中一个实施例中，将模型训练数据集输入初始yolo v4模型，对初始yolo v4模型进行训练，得到改造后的yolo v4模型，具体包括步骤：s301，将模型训练数据按照批次输入初始yolo v4模型中，并根据初始yolo v4模型向前传播，得到初始yolo v4模型前向传播结果；s302，利用标签真值与前向传播结果计算初始yolo v4模型损失，并通过反向传播、梯度下降等算法更新初始yolo v4模型参数；s303，不断重复s301和s302，直至模型损失最小或者模型损失在近10次迭代中不变，得到改造后的yolo v4模型。
32.在其中一个实施例中，所述改造后的yolo v4模型包括如下组成部分：backbone，用于图像特征提取，由卷积神经网络模型组成，包括卷积层、简便线性变换操作、池化层、bn层和激活函数；neck，连接backbone与heads，用于为heads生成不同尺度的特征图；heads，基于neck生成的特征图进行目标检测，由3个头部组成，允许进行3个尺度下的目标检测。
33.在其中一个实施例中，对所有网格对应的预测结果采用非极大值抑制方法进行筛选，得到葡萄边框位置数据和采摘点的坐标，包括：按照置信度对所有的锚框预测的结果进行排序；取置信度最高的葡萄边框为基准，移除所有与置信度最高的葡萄边框的交并比大于阈值的预测结果；再取剩下预测结果中置信度第二高的葡萄边框作为基准，并移除所有与置信度最二高的葡萄边框的交并比大于阈值的预测结果；依次类推，取剩下预测结果中置信度第三高的葡萄边框作为基准重复这一过程，直至取剩下预测结果中置信度排序最后的葡萄边框作为基准重复这一过程，获得剩下的预测结果作为葡萄边框位置数据和采摘点的坐标。其中，交并比为两个葡萄边框的交集与两个葡萄边框的并集的面积之比。
34.应该理解的是，虽然图1的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
35.在一个实施例中，如图4所示，提供了一种基于深度学习的葡萄及其采摘点同步识别定位装置，包括：待检测图像获取模块210和目标计算模块220，其中：待检测图像获取模块210，用于获取待检测的葡萄图像。
36.目标计算模块220，用于将所述待检测的葡萄图像输入改造后的yolo v4模型，得到葡萄边框位置数据和采摘点的坐标；其中，采用改造后的yolo v4模型中轻量化backbone进行葡萄边框特征和采摘点特征提取，再通过neck进行加强特征，再通过heads进行特征解析，得到葡萄边框位置数据和采摘点的坐标。
37.在其中一个实施例中，所述目标计算模块220，包括：特征提取单元，用于将待检测的葡萄图像输入改造后的yolo v4模型中轻量化backbone，通过轻量化backbone提取葡萄边框特征和采摘点特征；特征图生成单元，用于将葡萄边框特征和采摘点特征使用neck进行特征加强，生成3个不同尺度的特征图；网格划分单元，用于将3个不同尺度的特征图分别分割成个网格；其中，ni为正整数；预测单元，用于对每个网格分别使用3
个预设的锚框进行预测，得到网格对应的预测结果；所述锚框预测的结果由葡萄边框的位置及尺寸元素、置信度元素、类别元素以及表示采摘点坐标的元素组成；筛选单元，用于对所有网格对应的预测结果采用非极大值抑制方法进行筛选，得到葡萄边框位置数据和采摘点的坐标。
38.在其中一个实施例中，葡萄边框的位置及尺寸元素的解析公式如下：素的解析公式如下：素的解析公式如下：素的解析公式如下：其中，为sigmoid函数；、为预测的葡萄边框中心点相对于所处的网格左上角角点的偏移量，、为预测的葡萄边框的宽、高度的初步预测值；、为预测的葡萄边框中心所处的网格左上角角点的坐标，、为anchor box的尺寸；采摘点坐标的元素的解析公式如下：采摘点坐标的元素的解析公式如下：其中，tanh为双曲正切函数；、为预测采摘点相对于所处的网格左上角角点的偏移量。
39.在其中一个实施例中，基于深度学习的葡萄及其采摘点同步识别定位装置，还包括：标注模块，用于采集葡萄图像并标注，构建模型训练数据集；训练模块，用于将模型训练数据集输入初始yolo v4模型，对初始yolo v4模型进行训练，得到改造后的yolo v4模型；其中，所述初始yolo v4模型采用简便线性变换操作替换原始yolo v4模型中backbone中的部分卷积操作，并改造heads使其采用包括采摘点的坐标的数据输出格式。
40.在其中一个实施例中，所述模型训练数据集中标注的标签格式如下：其中，class为类别，该数据集中只有葡萄一个类别，因此数值为0；为葡萄边框中心点的坐标，分别为葡萄边框宽度、高度；为葡萄串的采摘点的坐标，均进行归一化处理，数值范围为0~1；简便线性变换操作的公式如下：其中，是前一步卷积操作后获得的第i个特征图；是第j个线性操作用来生成第j个特征图；改造heads输出解析后的模型预测结果，表示如下：
其中，score是置信度，表示模型预测结果的可能性大小；为葡萄边框中心点坐标，分别为葡萄边框的宽度的预测值、高度的预测值；为葡萄串的采摘点的坐标的预测值。
41.在其中一个实施例中，初始yolo v4模型的损失函数为组合损失函数，其包括分类损失、置信度损失、边界框损失以及采摘点损失，计算公式如下：其中，是模型总损失，是分类损失项，是置信度损失项，是边界框损失项，是采摘点损失项。
42.在其中一个实施例中，所述改造后的yolo v4模型包括如下组成部分：backbone，用于图像特征提取，由卷积神经网络模型组成，包括卷积层、简便线性变换操作、池化层、bn层和激活函数；neck，连接backbone与heads，用于为heads生成不同尺度的特征图；heads，基于neck生成的特征图进行目标检测，由3个头部组成，允许进行3个尺度下的目标检测。
43.关于基于深度学习的葡萄及其采摘点同步识别定位装置的具体限定可以参见上文中对于基于深度学习的葡萄及其采摘点同步识别定位方法的限定，在此不再赘述。上述基于深度学习的葡萄及其采摘点同步识别定位装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
44.在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图5所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储改造后的yolo v4模型数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于深度学习的葡萄及其采摘点同步识别定位方法。
45.本领域技术人员可以理解，图5中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
46.在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
47.在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
48.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，
本技术所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（read-only memory，rom）、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器（random access memory，ram）或外部高速缓冲存储器。作为说明而非局限，ram可以是多种形式，比如静态随机存取存储器（static random access memory，sram）或动态随机存取存储器（dynamic random access memory，dram）等。
49.以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
50.以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术专利的保护范围应以所附权利要求为准。