果心区域定位、果心室外端与果实半径比计算方法及系统

1.本发明涉及一种水果品质检测技术领域，特别是关于一种果心区域定位、果心室外端与果实半径比计算方法及系统。


背景技术：

2.随着人民生活水平的提升，苹果的消费量和产量在逐年递增。果心是苹果中不可食用的一部分，果心大小占苹果比例是决定苹果品质的重要因素。现有果心大小评价指标中，评价规范要求：随机抽取10个果实，沿果实最大横径处一次性切开，横切面如图1所示，观察果心外端达到果实半径的相对位置(以10个果实的平均值计算)，将苹果果心大小划分为小、中、大三个等级，划分标准如表1所示。
3.表1苹果果心大小评价标准
[0004][0005]
传统测量果心室外端和果实半径的方法依靠游标卡尺和目视，由于果心存在偏心和形状不规则等因素，测量误差大，测量后需手工录入数据计算均值，费工费时。
[0006]
在苹果深加工过程中，去除果心是非常重要的步骤。随着机械自动化水平的提升，已经发明了很多自动化去核设备。这些设备依靠机械力，将苹果从上之下抠除内部柱形区域。这些方法切除的苹果区域形状大小固定，存在大量的可食用果肉，浪费严重。为这些机械设备提供切除苹果区域精确位置数据，是提高苹果可利用率的最佳方案。


技术实现要素：

[0007]
针对上述问题，本发明的目的是提供一种果心区域定位、果心室外端与果实半径比计算方法及系统，其能精准区分苹果果肉和果心，精确计算果心室外端与果实半径比，可简化苹果品质检测过程，提高等级划分准确度。同时，可精准定位果心区域，为机械化精细除核提供数据支持。
[0008]
为实现上述目的，本发明采取以下技术方案：一种果心区域定位、果心室外端与果实半径比计算方法，其包括：制作数据集并训练网络参数，构建网络模型；将实时采集视频中的图像输入所述网络模型，定位采集视频图像中果心、果肉位置区域；在所述定位果心、果肉位置区域中，确定果心区域，根据所述果心区域计算得到果心室外端与果实半径比。
[0009]
进一步，所述制作数据集包括：
[0010]
利用图像标注工具labelme，选择水果的果心、果肉区域边缘，对不同属于区域像素进行标注；
[0011]
对标注后图片按照预先设定的比例随机划分为训练集、验证集和测试集。
[0012]
进一步，所述网络模型为改进unet卷积神经网络模型；所述网络模型包括：
[0013]
所述网络模型采用vgg16结构的主干特征提取网络共获得5个初步有效特征层，将得到的第5个初步有效特征层作为输入传递给vit结构；
[0014]
特征层首先经过patch embedding层，此处卷积层conv2d的kernel_size和stride为1，只用来调整channel值；在输入到transformer encoder层之前进行position embedding，用于补充空间信息；
[0015]
在transformer encoder层将encoder block堆叠12次，encoder block包括layer norm、multi-head attention、drop path和mlp block；
[0016]
对vit输出结果reshape后进行上采样，与其上一层的有效特征层进行堆叠，再进行两次标准的卷积进行加强特征提取，获得最终的有效特征层；
[0017]
经过segmentationhead层将得到的有效特征层的通道数调整为分类数3。
[0018]
进一步，所述网络模型的损失函数包括：交叉熵损失函数和dice loss损失函数。
[0019]
进一步，所述定位采集视频图像中果心、果肉位置区域，包括：
[0020]
利用所述网络模型分割实时采集的图像，将果肉、果心和背景区域分割开，根据区域像素个数计算区域面积；
[0021]
对分割结果进行评价，实现精准分割；
[0022]
利用平滑算子，对分割后的单通道果肉及果心图像进行膨胀操作，形成连通域，填补分割后图像中的空洞，实现果肉和果心区域内无孔洞。
[0023]
进一步，所述对分割结果进行评价包括：采用召回率，精确率，分割准确率，平均像素准确率，平均交并比和f值分数进行评价。
[0024]
进一步，所述确定果心区域，根据所述果心区域计算得到果心室外端与果实半径比，包括：
[0025]
对精准分割后的单通道果肉及果心图像进行图像处理后，对果实轮廓采用最小外接圆的方法模拟其大致轮廓，得到外接圆半径；
[0026]
对果心采用最小外接圆的方法，得到果心心室外端的半径的平均值；
[0027]
将果心的外接圆半径除以果实的外接圆半径，得到两者的比值。
[0028]
一种果心区域定位、果心室外端与果实半径比计算系统，其包括：模型构建模块，制作数据集并训练网络参数，构建网络模型；定位模块，将实时采集视频中的图像输入所述网络模型，定位采集视频图像中果心、果肉位置区域；半径比获取模块，在所述定位果心、果肉位置区域中，确定果心区域，根据所述果心区域计算得到果心室外端与果实半径比。
[0029]
一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行上述方法中的任一方法。
[0030]
一种计算设备，其包括：一个或多个处理器、存储器及一个或多个程序，其中一个或多个程序存储在所述存储器中并被配置为所述一个或多个处理器执行，所述一个或多个程序包括用于执行上述方法中的任一方法的指令。
[0031]
本发明由于采取以上技术方案，其具有以下优点：
[0032]
1、本发明实现了基于机器视觉的测量果心和果实半径的方法，同时可以精准定位果心区域，计算苹果横切面果心和果肉面积占比。本发明将苹果果心大小的评价标准由手工目测改为自动识别并统计计算，提高了检测效率和评价标准的检测精准度。也为苹果深
加工过程中，精准去果核提高苹果可利用率提供数据依据。
[0033]
2、本发明基于xception卷积的改进unet图像分割模型，减少了模型的计算量，加快了识别速度，达到优化模型目的。
[0034]
3、本发明的数据采集方式中，通过图像采集箱，固定了摄像头和苹果横切面之间的距离，利用摄像头参数和距离可计算每个像素对应实际面积，同时利用摄像头和苹果位置，可精确计算果心位置区域。
[0035]
4、本发明通过区域分割结果和采集设备距离，利用像素点个数计算区域面积大小，寻找不同区域最小同心圆，计算果肉、果心半径比。
附图说明
[0036]
图1是现有技术中苹果果心大小模式图；
[0037]
图2是本发明实施例中果心区域定位、果心室外端与果实半径比计算方法流程图；
[0038]
图3是本发明实施例中改进unet卷积神经网络模型示意图；
[0039]
图4是本发明实施例中训练过程中损失函数变化曲线图；
[0040]
图5a是本发明实施例中为拍视图像；
[0041]
图5b是本发明实施例中为经过分割后效果图；
[0042]
图6是本发明实施例中果肉、果心区域外接圆示意图；
[0043]
图7是本发明一实施例中的计算设备结构示意图。
具体实施方式
[0044]
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例的附图，对本发明实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于所描述的本发明的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。
[0045]
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本技术的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
[0046]
本发明提供一种基于机器视觉的果心区域定位、果心室外端与果实半径比计算方法及系统，包括：制作数据集并训练网络参数，构建网络模型；将实时采集视频中的图像输入网络模型，定位采集视频图像中果心、果肉位置区域；在定位果心、果肉位置区域中，确定果心区域，根据果心区域计算得到果心室外端与果实半径比。本发明达到了将苹果果心大小的评价标准由手工目测改为自动识别并统计计算的目的，提升了的评价标准的检测精准度。
[0047]
在本发明的一个实施例中，提供一种果心区域定位、果心室外端与果实半径比计算方法，本实施例以该方法应用于终端进行举例说明，可以理解的是，该方法也可以应用于服务器，还可以应用于包括终端和服务器的系统，并通过终端和服务器的交互实现。本实施例中，基于改进unet卷积神经网络网络，利用labelme软件对图像中果心、果肉区域打标记，用打标图片训练网络参数，构建分割苹果果心、果肉网络模型，实现了实时精确分割视频图
像中的果心、果肉、背景区域，然后利用最小外接圆计算果心和果实半径比。如图2所示，该方法包括以下步骤：
[0048]
1)制作数据集并训练网络参数，构建网络模型；
[0049]
2)将实时采集视频中的图像输入网络模型，定位采集视频图像中果心、果肉位置区域；
[0050]
3)在定位果心、果肉位置区域中，确定果心区域，根据果心区域计算得到果心室外端与果实半径比。
[0051]
上述步骤1)中，制作数据集包括以下步骤：
[0052]
1.1)利用图像标注工具labelme，选择水果的果心、果肉区域边缘，对不同属于区域像素进行标注；
[0053]
在本实施例中，随机采购不同品质的苹果300多个，根据现有农业行业标准苹果品质指标评价规范中规范要求在最大半径处横向切开，固定摄像头和苹果距离，利用摄像头垂直拍摄左右两半苹果横切面，获得近千张苹果横切面图片数据。
[0054]
1.2)对标注后图片按照预先设定的比例随机划分为训练集、验证集和测试集。在本实施例中，预先设定的比例优选为7：2：1。
[0055]
上述步骤1)中，网络模型为改进unet卷积神经网络模型，如图3所示；该模型主干特征提取网络中采用vgg16网络的结构特征，使用vgg16网络前13层的结构，即在特征提取网络部分去掉了vgg16网络最后三个全连接层，只保留前13层的卷积层；该模型还加入了vision transformer(vit)结构，在进行上采样之前，将主干特征提取网络得到的特征层输入到vit结构中，分别经过patch embedding层、transformer encoder层和segmentationhead层,对vit的输出结果继续进行上采样。
[0056]
网络模型具体为：网络模型采用vgg16结构的主干特征提取网络共获得5个初步有效特征层，将得到的第5个初步有效特征层作为输入传递给vit结构；
[0057]
特征层首先经过patch embedding层，此处卷积层conv2d的kernel_size和stride为1，只用来调整channel值；在输入到transformer encoder层之前进行position embedding，用于补充空间信息；
[0058]
在transformer encoder层将encoder block堆叠12次，encoder block包括layer norm、multi-head attention、drop path和mlp block；
[0059]
对vit输出结果reshape后进行上采样，与其上一层的有效特征层进行堆叠，再进行两次标准的卷积进行加强特征提取，获得最终的有效特征层；
[0060]
最后，经过segmentationhead层将得到的有效特征层的通道数调整为分类数3。
[0061]
本实施例中采用的改进unet卷积神经网络模型仍由主干特征提取网络和加强特征提取网络两部分组成。该模型在不损失计数精度的前提下，可有效地降低网络模型的计算时间，提高分割网络的性能。提升该检测方法的可靠性。主干特征提取网络结构参数配置如表2所示。
[0062]
表2主干特征提取网络结构参数配置
[0063][0064]
上述实施例中，网络模型的损失函数包括：交叉熵损失函数和dice loss损失函数。
[0065]
其中，交叉熵主要是用来表达神经网络输入输出的结果差异，交叉熵越小代表着输入和输出的结果就越接近。交叉熵损失函数如式(1)所示，其中，l为交叉熵，m表示类别个数，y
true
是one-hot向量，如果该类别和样本的类别相同取1，否则取0，y
pred
表示预测样本属于c的概率。
[0066][0067]
dice loss是语义分割的评价指标，用来解决语义分割中正负样本极度不平衡的场景。dice loss来自dice coefficient，通常用来评估两个样本相似性，其取值范围在0到1之间，dice coefficient的值越大表示越相似，定义公式如式(2)所示，其|x∩y|表示x和y的交集，|x|和|y|分别表示x和y元素的个数，当x和y高度重合时，为保证dice coefficient的值在[0,1],在分子上乘2。
[0068][0069]
对于语义分割任务而言，|x|和|y|分别表示ground truth和perdict mask。基于dice coefficient，dice loss的计算公式如式(3)所示，dice loss的值越小，则代表则分割网络的效果越好。
[0070][0071]
在本实施例中，还包括对模型参数训练的步骤。模型训练初始学习率为0.0001，采用随机梯度下降法训练，衰减率设置为为0.9，batchsize设置为2，训练共进行50个epoch迭代循环。为了提高精准度，本发明将改进unet网络在voc2007数据集上进行预训练，获取预
训练权重，再进行迁移学习，在冻结权重训练10次之后，再继续训练40次，获得最终模型参数。训练过程中损失函数变化如图4所示。
[0072]
上述步骤2)中，定位采集视频图像中果心、果肉位置区域，包括以下步骤：
[0073]
2.1)利用网络模型分割实时采集的图像，将果肉、果心和背景区域分割开，根据区域像素个数计算区域面积；
[0074]
在本实施例中，制作采集视频的摄影棚，高度优选为40cm*40cm，顶部和两侧使用led光源，固定摄像头和苹果横切面的距离为12cm，通过电脑u口，将采集图像实时传入模型，利用摄像头参数和距离计算单位像素实际面积值，利用训练好模型分割果肉、果心和背景区域，根据区域像素个数计算区域面积。
[0075]
2.2)对分割结果进行评价，实现精准分割；
[0076]
2.3)利用平滑算子，对分割后的单通道果肉及果心图像进行膨胀操作，形成连通域，填补分割后图像中的孔洞，实现果肉和果心区域内无孔洞。
[0077]
上述步骤2.2)中，对分割结果进行评价包括：采用召回率(recall)，精确率(precision)，分割准确率(accuracy，acc)，平均像素准确率(mean pixel accuracy，mpa)，平均交并比(mean intersection over union，miou)和f值分数(f1-score)进行评价。
[0078]
其中，召回率和精确率的计算公式如式(4)和式(5)所示，式中，tp代表预测和实际都是正样本；fp代表预测结果是正样本，实际为负样本；fn代表预测是负样本，实际为正样本；tn代表预测是负样本，实际也为负样本。分割准确率和平均交并比的计算公式如式(6)和式(7)所示，本实施例中的评价指标mpa、miou需将式(6)和式(7)分别除以样本总量求平均。
[0079][0080][0081][0082][0083]
f-score的计算公式如式(8)所示，其中β控制precision和recall的重要程度，当β＝1时，如式(9)所示，对应的f1-score，此时说明precision和recall同样重要，f1-score是评价分割结果好坏的一个重要指标，f1-score的值越大表示分割的效果越好。
[0084][0085][0086]
如图5a、图5b所示，为拍视图像，中心五角星形状为果心范围，外部圆形区域为果肉范围，黑色是背景。
[0087]
上述步骤3)中，确定果心区域，根据果心区域计算得到果心室外端与果实半径比，包括以下步骤：
[0088]
3.1)对精准分割后的单通道果肉及果心图像进行图像处理后，考虑到果实呈圆形，对果实轮廓采用最小外接圆的方法模拟其大致轮廓，得到外接圆半径；其中，圆形相比于矩形、椭圆等更为能显示出图像的几何信息。
[0089]
在本实施例中，对图像进行大津阈值法等图像处理。
[0090]
3.2)由于果心呈五角星形，对果心采用最小外接圆的方法，得到果心心室外端的半径的平均值，外接圆结果如图6所示。
[0091]
3.3)将果心的外接圆半径除以果实的外接圆半径，得到两者的比值。
[0092]
其中，果心与果实外接圆半径的比值为：
[0093][0094]
其中，rc为果心的外接圆半径，rf为果实的外接圆半径。果心大小的评价标准如表1所示。
[0095]
本发明利用改进unet网络模型对摄像头采集图片处理后，得到果肉、果心像素个数，果肉、果心半径比值等数据，将这些数据存入数据库，可得到苹果果实及果心的分割图，对分割图使用式(10)进行果心大小评价，将计算结果显示在交互式界面上。
[0096]
综上，本发明实现了基于机器视觉的果心、果肉面积和半径的测量，同时可以精准定位果心区域，计算苹果横切面果心和果肉面积位置。本发明将苹果果心大小的评价标准由手工目测改为自动识别并统计计算，提高了检测效率和精准度。
[0097]
在本发明的一个实施例中，提供一种果心区域定位、果心室外端与果实半径比计算系统，其包括：
[0098]
模型构建模块，制作数据集并训练网络参数，构建网络模型；
[0099]
定位模块，将实时采集视频中的图像输入网络模型，定位采集视频图像中果心、果肉位置区域；
[0100]
半径比获取模块，在定位果心、果肉位置区域中，确定果心区域，根据果心区域计算得到果心室外端与果实半径比。
[0101]
本实施例提供的系统是用于执行上述各方法实施例的，具体流程和详细内容请参照上述实施例，此处不再赘述。
[0102]
如图7所示，为本发明一实施例中提供的计算设备结构示意图，该计算设备可以是终端，其可以包括：处理器(processor)、通信接口(communications interface)、存储器(memory)、显示屏和输入装置。其中，处理器、通信接口、存储器通过通信总线完成相互间的通信。该处理器用于提供计算和控制能力。该存储器包括非易失性存储介质、内存储器，该非易失性存储介质存储有操作系统和计算机程序，该计算机程序被处理器执行时以实现一种计算方法；该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过wifi、管理商网络、nfc(近场通信)或其他技术实现。该显示屏可以是液晶显示屏或者电子墨水显示屏，该输入装置可以是显示屏上覆盖的触摸层，也可以是计算设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。处理器可以调用存储器中的逻辑指令，以执行如下方法：制作数据集并训练网络参数，构建网络模型；将实时采集视频中的图
像输入网络模型，定位采集视频图像中果心、果肉位置区域；在定位果心、果肉位置区域中，确定果心区域，根据果心区域计算得到果心室外端与果实半径比。
[0103]
此外，上述的存储器中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0104]
本领域技术人员可以理解，图7中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的计算设备的限定，具体的计算设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
[0105]
在本发明的一个实施例中，提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法，例如包括：制作数据集并训练网络参数，构建网络模型；将实时采集视频中的图像输入网络模型，定位采集视频图像中果心、果肉位置区域；在定位果心、果肉位置区域中，确定果心区域，根据果心区域计算得到果心室外端与果实半径比。
[0106]
在本发明的一个实施例中，提供一种非暂态计算机可读存储介质，该非暂态计算机可读存储介质存储服务器指令，该计算机指令使计算机执行上述各实施例提供的方法，例如包括：制作数据集并训练网络参数，构建网络模型；将实时采集视频中的图像输入网络模型，定位采集视频图像中果心、果肉位置区域；在定位果心、果肉位置区域中，确定果心区域，根据果心区域计算得到果心室外端与果实半径比。
[0107]
上述实施例提供的一种计算机可读存储介质，其实现原理和技术效果与上述方法实施例类似，在此不再赘述。
[0108]
本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0109]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0110]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一
个方框或多个方框中指定的功能的步骤。
[0111]
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。