基于人工智能的红枣数据识别方法与流程

1.本发明涉及人工智能领域，具体涉及一种基于人工智能的红枣数据识别方法。


背景技术：

2.近年来，高新技术的飞速发展，促进了信息化进程，也驱动着产业结构的变革与升级，果类产品的分选也面向自动化与智能化方向发展。机器视觉技术具有实时性高、准确率高、无损、智能化程度高等特点，利用先进的计算机技术为提升产品质量规范化和产品市场化提供了新的解决方案。红枣生产加工过程需要对红枣进行检测，目前大多采用人工分选红枣缺陷，存在较大的弊端。对红枣进行分割，可以获取到红枣的区域，进而为分析每个红枣的品质提供基础，可以大大降低人工成本，提高筛选效率，促进红枣产业化发展。


技术实现要素：

3.为了克服上述现有技术的缺点，本发明采用以下技术方案：一种基于人工智能的红枣数据识别方法，包括以下步骤：步骤一：利用相机采集流水线上的红枣，得到流水线红枣图像;步骤二：训练红枣检测神经网络，用以检测红枣的中心点位置;步骤三：对红枣中心点进行处理，并利用泰森多边形获取voronoi图;步骤四：对voronoi图进行超像素分割，实现红枣分割。
4.进一步，所述步骤二的方法为：首先对数据进行标注，标注包括红枣中心关键点,标注好后，对图像内的所有关键点进行高斯核卷积，最终生成一张图像，图像即为关键点热力图，为标签数据,然后将采集的流水线红枣图像数据与标签数据送入到网络中进行训练。
5.进一步，所述步骤三为:获取红枣中心点的集合，然后对点集合进行网格化生成,将相邻的红枣中心点进行内插，获取内插点坐标，即两个相邻的红枣中心点求平均得到内插点,最终内插点与红枣中心点组合，得到离散点集合,对获取的离散点集合进行泰森多边形构建，n个在平面上有区别的点，按照最邻近原则划分平面；每个点与它的最近邻区域相关联,最终得到voronoi图。
6.进一步，所述步骤四具体如下：对参考图像进行分区，所述分区即超像素个数，选取每个泰森多边形区域的关键点作为种子点,在种子点的n*n邻域内重新选择种子点,计算该邻域内所有像素点的梯度值，将种子点移到该邻域内梯度最小的地方,在每个种子点周围的邻域内为每个像素点分配类标签,基于距离模型d来获取种子点与像素点的相似度，由于每个像素点都会被多个种子点搜索到，所以每个像素点都会有一个与周围种子点的距离，取最小值对应的种子点作为该像素点的聚类中心，利用slic超像素分割并基于上述像素点距离模型d和泰森多边形区域进行迭代优化，迭代次数需要进行调试，迭代次数经验值为50次，划分出比较相似的区域，最终得到众多区域，对于每个关键点所在的超像素区域，即都为红枣区域。
7.本发明的有益效果是：
本发明通过红枣关键点进行内插，并利用voronoi图获取了最合适的红枣超像素分割区域，避免了传统算法中超像素个数超参数的调节以及超像素个数调节不当所带来的误分割。通过本发明方法，可以准确得到红枣分割区域，最终每个关键点所在的超像素即为红枣区域，可以准确得到红枣分割区域。原始算法，只能得到每个超像素区域是比较接近的，无法知道哪个超像素区域是红枣，还需要进行后处理。
附图说明
8.图1是本发明中流水线红枣示意图；图2是本发明中voronoi示意图。
具体实施方式
9.下面结合附图和实施例对本发明进行详细的描述。
10.步骤一：利用相机采集流水线上的红枣，得到流水线红枣图像。
11.在红枣分选或生产加过过程中的流水线中部署相机，用以拍摄流水线中的红枣图像，所述图像为rgb图像，即可见光图像。
12.所述图像应保证尽可能小的覆盖红枣区域，如图1，不存在大量冗余的图像背景。这样做是为了减少后续超像素分割所带来的误差。
13.步骤二：训练红枣检测神经网络，用以检测红枣的中心点位置。
14.首先对数据进行标注，标注包括红枣中心关键点。
15.标注好后，对图像内的所有关键点进行高斯核卷积，最终生成一张图像，图像即为关键点热力图，为标签数据。具体的细节如高斯核大小的选取，不在本发明讨论范围。
16.然后将采集的流水线红枣图像数据与标签数据送入到网络中（关键点检测编码器、关键点检测解码器）进行训练。
17.关键点检测网络训练的细节如下:图像要经过归一化处理，将图片矩阵的值域变为[0,1]之间的浮点数，以便模型更好地收敛。标签同样经过归一化处理。
[0018]
端到端地训练关键点检测编码器、关键点检测解码器。关键点检测编码器对图像进行特征提取，输入为经过归一化处理的图像数据，输出为特征图；关键点检测解码器是对特征图进行上采样并最终生成关键点热力图(heatmaps)，其输入为关键点检测编码器产生的特征图，输出为关键点热力图。
[0019]
loss函数作为优选，采用heatmaps loss，其数学公式为：其中，代表关键点在位置处的得分，得分越高就越可能是关键点。表示的。n代表中的关键点数量。、为超参数，
需要人为设定。
[0020]
编码器
‑
解码器的设计有许多种，本发明建议关键点检测编码器、关键点检测解码器套用沙漏网络的预训练模型来进行关键点特征的提取，同时这样也更利于网络的收敛。
[0021]
需要注意的是，由于热力图本身的特点，网络输出的热力图其像素值符合高斯分布，其值域在[0,1]之间。
[0022]
至此即可通过神经网络得到热力图数据，然后对其进行后处理，得到具体的红枣中心关键点坐标信息，其处理方法如非极大值抑制、等，这里不在赘述。
[0023]
步骤三：对红枣中心点进行处理，并利用泰森多边形获取voronoi图。
[0024]
然后获取红枣中心点的集合，然后对点集合进行网格化生成。方法如下：首先将相邻的红枣中心点进行内插，获取内插点坐标，即两个相邻的红枣中心点求平均得到内插点。
[0025]
所述相邻包含三种：水平相邻、垂直相邻、斜边相邻。
[0026]
对于水平、垂直相邻通过上述方法得到内插点。
[0027]
对于斜边相邻，四边形中存在两个斜边相邻，可以获取到两个坐标较为接近的内插点，将该两个内插点再次求平均，即可得到斜边相邻的内插点。
[0028]
对于一个实施例，存在三行、四列个红枣中心点，通过内插可以得到23个内插点。
[0029]
最终内插点与红枣中心点组合，得到离散点集合。
[0030]
进行内插是为了后续超像素迭代优化的时候，将非红枣区域进行归类，最终实现关键点所在的超像素区域为红枣，内插点所在的超像素区域为背景。
[0031]
对获取的离散点集合进行泰森多边形构建，得到voronoi图又叫泰森多边形或dirichlet图，它是由一组由连接两邻点直线的垂直平分线组成的连续多边形组成。n个在平面上有区别的点，按照最邻近原则划分平面；每个点与它的最近邻区域相关联。
[0032]
最终得到voronoi图，可见图2。
[0033]
步骤四：对voronoi图进行超像素分割，实现红枣分割。
[0034]
对红枣可见光图进行超像素分割。
[0035]
超像素通常定义为位置相邻且颜色、亮度、纹理等特征相似的形状不规则，又有一定视觉意义的像素块。使用超像素的好处主要体现在两个方面。首先，它实现了利用较少数量的像素块替换大量像素来表达图像特征，极大地减少后续图像处理的计算成本。其次，它为输入图像提供一种更自然的、具有感知意义的表示，为后续算法处理提供了一种模拟动物视觉处理的可能。
[0036]
然后将结构件可见光图像从rgb空间转换为lab空间，lab颜色空间表现的颜色更全面。
[0037]
构建像素点距离模型：
通过参数a、b来协调两种距离的比例分配。由于红枣可能存在裂纹等缺陷(颜色为黑色)，因此a、b的经验值分别为3、6，即空间距离的权重更大。
[0038]
、分别表示第j个像素的l、a、b值。、代表第j个像素的x、y坐标。该像素距离模型考虑到lab空间的颜色差异，空间坐标的邻近性，综合考虑两方面因素，来评估像素间的相似度。d的值越小，表示两个像素的相似度越大。
[0039]
然后对参考图像进行分区，所述分区即超像素个数，本发明的超像素为每一个泰森多边形。
[0040]
1.初始化种子点（聚类中心）：选取每个泰森多边形区域的关键点作为种子点。
[0041]
2.在种子点的n*n邻域内重新选择种子点（n经验值为5）。具体方法为：计算该邻域内所有像素点的梯度值，将种子点移到该邻域内梯度最小的地方。这样做的目的是为了避免种子点落在梯度较大的轮廓边界上，以免影响后续聚类效果。
[0042]
3.在每个种子点周围的邻域内为每个像素点分配类标签（即属于哪个聚类中心）。slic的搜索范围限制为每一个种子点泰森多边形的邻域泰森多边形组成的区域，可以加速算法收敛。
[0043]
4.基于距离模型d来获取种子点与像素点的相似度，由于每个像素点都会被多个种子点搜索到，所以每个像素点都会有一个与周围种子点的距离，取最小值对应的种子点作为该像素点的聚类中心。
[0044]
进一步的，利用slic超像素分割并基于上述像素点距离模型d和泰森多边形区域进行迭代优化（理论上上述步骤不断迭代直到误差收敛（可以理解为每个像素点聚类中心不再发生变化为止）），迭代次数需要进行调试，迭代次数经验值为50次，划分出比较相似的区域，最终得到众多区域，对于每一种区域内的像素点都是像素点距离d比较接近的。
[0045]
对于每个关键点所在的超像素区域，即都为红枣区域。
[0046]
以上实施例仅仅是对本发明的举例说明，并不构成对本发明的保护范围的限制，凡是与本发明相同或相似的设计均属于本发明的保护范围之内。