一种在聚集图像中谷物颗粒的高精度识别方法及系统与流程

本发明涉及深度学习与米粒识别，更具体地说，尤其涉及一种在聚集图像中谷物颗粒的高精度识别方法及系统。

背景技术：

1、谷物食品，是以谷类作物制成的食品，其在人类饮食中占据核心地位。而所述谷类作物则是指以淀粉质籽粒为核心、为人类提供基础能量与营养的农作物。对于谷类作物的烹饪加工，其受多种参数以及因素的影响，包括：谷类品种、烹饪时的米水比例、烹饪时间以及烹饪器具。例如不同品种的谷类作物，由于其淀粉含量、颗粒大小和形状等特性不同，要想达到较好的烹饪效果，其烹饪方式也大相径庭；而所述米水比例，其是影响谷物食品口感和质地的关键因素，以大米为例，常见大米的米水比例在1:1.2至1:1.5左右较为合适，如果水少，米饭会偏硬，甚至夹生；水多则会使米饭过于软烂；对于所述烹饪时间以及烹饪器具对食品的烹饪效果，根据现有的生活经验已不言而喻。可见，任意一个参数或因素的改变，都会对谷类食品的烹饪效果产生深远影响。

2、目前，现有技术中已在烹饪时间和烹饪器具因素取得较为成熟的解决方法，但在烹饪器具中，针对谷物品种的识别以及米水比例的调配精度，仍然在不断地探索突破中。在探索进程中，由于谷类作物品种的不断增多，再加上图像识别领域存在的遮挡和相似性问题，例如混杂谷物米粒干扰识别效果、复杂光照与背景干扰下图像识别的鲁棒性不足以及小目标与破碎颗粒谷物的漏检率高等等，导致如何通过烹饪器具准确识别谷粒，即识别去壳后的谷类作物品种，为米粒烹饪提供适合的米水比例已成为非常棘手的挑战。

3、因此，如何提供一种在聚集图像中谷物颗粒的高精度识别方法及系统，其能够精准识别谷物米粒的品种，为谷物米粒智能烹饪的米水比例提供数值参考，已经成为本领域技术人员亟待解决的技术问题。

技术实现思路

1、为解决上述技术问题，本发明提供一种在聚集图像中谷物颗粒的高精度识别方法及系统，其能够精准识别谷物米粒的品种，为谷物米粒智能烹饪的米水比例提供数值参考。

2、本发明提供的技术方案如下：

3、本发明提供一种在聚集图像中谷物颗粒的高精度识别方法及系统，包括以下步骤：s1、获取谷类作物的米粒原始图像并对其预处理，输出聚类米粒图像数据集；s2、对所述聚类米粒图像数据集执行分割处理，获取米粒掩模图像，随后标准化所述米粒掩模图像，生成具有标准尺寸大小的第一米粒图像数据集；s3、对所述第一米粒图像数据集开展第一筛分，剔除不满足形态学特征要求的米粒图像，得到第二米粒图像数据集；s4、将所述第二米粒图像数据集输入预训练的神经网络分类模型中，对第二米粒图像数据集中的米粒掩模图像进行二分类，将图像分为完整米粒掩模图像以及不完整米粒掩模图像，随后输出所述完整米粒掩模图像，得到第三米粒图像数据集；s5、基于所述第三米粒图像数据集，溯源定位并提取与所述第三米粒图像数据集对应的米粒原始图像，构建包含所述米粒原始图像的第四米粒图像数据集；s6、根据所述神经网络分类模型，对所述第四米粒图像数据集中的米粒原始图像执行类型识别，输出米粒品种的识别结果。

4、进一步地，在本发明一种优选的方式中，在步骤s1中，输出聚类米粒图像数据集的具体步骤包括：

5、s101、多尺度retinex增强：归一化所述米粒原始图像，并使用多个不同尺度的高斯滤波进行处理，分别生成对应的滤波图像；

6、基于所述米粒原始图像与各滤波图像的差异，计算多尺度retinex增强结果，并进行归一化输出；

7、s102、颜色空间校正：将增强后的图像转换至lab颜色空间，对颜色通道的均值进行偏移校正后转换回rgb空间；

8、s103、全局白平衡和clahe增强：基于rgb通道的全局均值进行白平衡增益调整，并对各通道进行分块自适应直方图均衡化处理，生成最终增强图像。

9、进一步地，在本发明一种优选的方式中，在步骤s2中，获取米粒掩模图像的具体步骤包括：

10、s201、构建ricesam模型，将所述聚类米粒图像数据集输入ricesam模型中，通过模型的图像编码器，获取图像嵌入；

11、s202、确定图像的分割提示信息，通过卷积层提取其空间特征，随后基于模型的提示编码器，将所述空间特征编码作为与所述图像嵌入对齐的提示嵌入；

12、s203、根据所述ricesam模型的掩码解码器，将所述图像嵌入与提示嵌入交互结合，生成图像的分割掩码；

13、s204、对所述分割掩码进行形态学筛选，获取米粒颗粒的最终掩码输出，得到所述米粒颗粒与黑色背景分离的米粒掩模图像。

14、进一步地，在本发明一种优选的方式中，在步骤s2中，生成具有标准尺寸大小的第一米粒图像数据集的具体步骤包括：

15、s205、获取所述米粒掩模图像的数值尺寸以及标准图像的标准尺寸大小；

16、s206、确定所述米粒掩模图像中米粒轮廓的几何中心位置，将所述几何中心与其米粒掩模图像的中心坐标对齐；

17、s207、获取缩放比例，将所述米粒轮廓缩放至标准尺寸大小的黑色背景中，得到单粒米粒图像，随后输出所述单粒米粒图像数据集，即第一米粒图像数据集。

18、进一步地，在本发明一种优选的方式中，所述步骤s3具体包括：

19、s301、通过完整米粒图像，定义所述完整米粒的形态学特征参数，所述形态学特征参数包括：米粒面积、米粒轮廓周长、面积周长比、拟合椭圆的长轴长度、拟合椭圆的短轴长度、拟合椭圆面积、拟合椭圆周长、面积差、宽高比以及椭圆圆形度；

20、s302、根据所述形态学特征参数，构建基于形态量化的filter-i算法；

21、s303、在所述第二米粒图像数据集中获取所述米粒掩模图像，随后将所述米粒掩模图像输入至filter-i算法中，提取图像中每个米粒的形态学特征参数；

22、s304、预设参数阈值，将米粒的形态学特征参数与所述参数阈值对比分析，过滤不满足参数阈值要求的米粒掩模图像；

23、s305、输出过滤筛选后的米粒掩模图像，并将其进行合并处理，得到第二米粒图像数据集。

24、进一步地，在本发明一种优选的方式中，步骤s304中，将米粒的形态学特征参数与所述参数阈值对比分析的方法包括：

25、根据所述形态学特征参数类别，设置阈值取值范围，确定所述米粒的形态学特征参数是否在所述阈值取值范围内，筛分数值明显异常的样本；

26、根据完整米粒轮廓和实际米粒轮廓特征，进行相似度分析，筛分不符合相似度要求的样本，其中所述相似度分析的方法步骤包括：

27、获取所述实际米粒轮廓点集，并计算实际米粒轮廓质心；

28、基于所述实际米粒轮廓质心和拟合椭圆质心，计算实际米粒轮廓的中心距以及归一化矩阵，公式如下：

29、，；

30、随后基于所述归一化矩阵，获取所述实际米粒轮廓的hu矩阵；

31、根据实际米粒轮廓拟合椭圆，生成拟合椭圆点集，并计算拟合椭圆轮廓质心，随后重复上述步骤获取所述拟合椭圆的hu矩阵；

32、结合所述实际米粒轮廓的hu矩阵和拟合椭圆的hu矩阵，进行相似度计算，评估所述米粒轮廓与拟合椭圆轮廓的匹配程度，公式如下：

33、。

34、进一步地，在本发明一种优选的方式中，所述相似度分析的方法步骤还包括：采用w形算法计算相似度，即将米粒轮廓边缘转换为数字描述的波形图，随后开展波分析，确定相似程度；具体包括以下步骤：

35、获取完整米粒轮廓的质心坐标：

36、，；

37、其中，为米粒轮廓边界上第个点的坐标，为第个点的权重，为米粒轮廓边界点的总数；

38、随后根据欧氏距离公式计算米粒轮廓边界点到质心的距离：

39、；

40、计算米粒轮廓上相邻点与的分段长度，根据分段长度获取累计弧长：

41、；

42、其中，初始累计弧长，相邻点间距由下式计算：

43、；

44、随后以米粒轮廓边界点到质心的距离为纵轴，累计弧长为横轴建立坐标系，将完整米粒轮廓生成w形曲线，即完整米粒轮廓波形图；

45、根据上述步骤，获取实际米粒轮廓波形图，基于所述完整米粒轮廓波形图与实际米粒轮廓波形图进行波分析，量化米粒轮廓特征，评估相似程度。

46、进一步地，在本发明一种优选的方式中，在步骤s4中，对第二米粒图像数据集中的米粒掩模图像进行二分类的步骤包括：

47、s401、构建神经网络分类模型，并对所述神经网络分类模型进行预训练；

48、s402、在所述神经网络分类模型中输入米粒掩模图像，图像先经32通道、步长2的卷积层，提取浅层特征，输出分辨率减半、通道数扩展的特征图；

49、s403、基于倒残差结构，堆叠多组bottleneck模块，通过多个bottleneck模块逐步提取所述特征图的深层特征；

50、s404、随后通过1×1卷积对特征图进行通道扩展，接着以平均池化压缩特征图尺寸，然后通过1×1卷积将图像通道数映射至分类类别数k，输出图像分类结果。

51、进一步地，在本发明一种优选的方式中，所述神经网络分类模型基于预设的神经网络模型进行d-ftl逐步迁移学习训练而成，其具体步骤包括：

52、设置初始参数：基于imagenet数据集预训练神经网络模型，随后获取所述神经网络模型权重来初始化模型；

53、聚类米粒图像数据集训练：基于所述聚类米粒图像数据集和数据增强技术，对初始化模型进行训练，训练所有卷积层和全连接层，并通过米粒原始图像数据集的均值和方差进行归一化，获取聚类米粒模型的权重，并根据米粒类别数目调整最后一个全连接层中的神经元数量；

54、单粒米粒图像数据集训练：基于所述聚类米粒模型的权重，初始化单粒米粒图像数据集的模型训练，训练时冻结所述神经网络模型较浅层的网络参数，只训练深层网络和全连接层，并保持最后一个全连接层的神经元数量不变，基于所述单粒米粒图像数据集对模型进行优化，得到用于识别米粒的神经网络分类模型。

55、本发明还提供另一种技术方法：

56、本发明提供一种在聚集图像中谷物颗粒的高精度识别方法，包括：

57、图像采集模块，用于采集谷类作物的米粒原始图像；

58、与所述图像采集模块连接的图像处理模块；

59、所述图像处理模块包括：图像预处理单元，用于对米粒原始图像进行增强处理，获取聚类米粒图像数据集；与所述图像预处理单元连接的图像分割单元，所述图像分割单元用于对图像进行分割处理，实现米粒粒度分割；与所述图像分割单元连接，用于调整图像尺寸的图像标准化单元；

60、与所述图像处理模块连接的图像筛分模块；

61、所述图像筛分模块包括：第一筛分单元，用于根据米粒形态学特征参数，对米粒图像进行第一筛分；与所述第一筛分单元连接的第二筛分单元，所述第二筛分单元用于根据完整度要求，对第一筛分后的米粒图像进行第二筛分；

62、与所述图像筛分模块连接的图像溯源模块，所述图像溯源模块用于对所述第二筛分单元输出图像进行溯源处理，获取与第二筛分单元输出图像相对应的米粒原始图像；

63、与所述图像溯源模块连接的米粒图像识别模块，所述米粒图像识别模块用于根据神经网络分类模型，识别并输出图像中米粒的类别；

64、模型训练模块，用于建立并预训练所述神经网络分类模型。

65、本发明提供的一种在聚集图像中谷物颗粒的高精度识别方法及系统，所述识别方法包括以下步骤：s1、获取谷类作物的米粒原始图像并对其预处理，输出聚类米粒图像数据集；s2、对所述聚类米粒图像数据集执行分割处理，获取米粒掩模图像，随后标准化所述米粒掩模图像，生成具有标准尺寸大小的第一米粒图像数据集；s3、对所述第一米粒图像数据集开展第一筛分，剔除不满足形态学特征要求的米粒图像，得到第二米粒图像数据集；s4、将所述第二米粒图像数据集输入预训练的神经网络分类模型中，对第二米粒图像数据集中的米粒掩模图像进行二分类，将图像分为完整米粒掩模图像以及不完整米粒掩模图像，随后输出所述完整米粒掩模图像，得到第三米粒图像数据集；s5、基于所述第三米粒图像数据集，溯源定位并提取与所述第三米粒图像数据集对应的米粒原始图像，构建包含所述米粒原始图像的第四米粒图像数据集；s6、根据所述神经网络分类模型，对所述第四米粒图像数据集中的米粒原始图像执行类型识别，输出米粒品种的识别结果。对于本发明公开的所述在聚集图像中谷物颗粒的高精度识别方法，其采用先进的图像处理和机器学习算法来对谷类作物米粒进行识别和分类，能够显著提高谷物米粒的识别准确性和采集效率；其中，所述聚集图像中谷物颗粒的高精度识别方法主要包括六个步骤：第一步获取谷类作物的米粒原始图像，在获取米粒原始图像后需要对图像进行预处理，对图像特征进行增强，提高图像的识别效率，获取包含丰富米粒图像的聚类米粒图像数据集；第二步则分割所述米粒原始图像，运用图像分割模型提取独立米粒轮廓图像，实现谷物米粒图像的零样本分割，显著提高米粒轮廓分割的效率；由于分割后得到的米粒掩模图像尺寸，并不支持后续图像筛分算法，因此步骤s2后续则根据标准尺寸大小，对米粒掩模图像进行标准化处理，消除算法输出差异带来的数据偏差，得到所述第一米粒图像数据集，为后续算法提供统一的尺寸输入；第三步、第四步则通过深度学习算法对米粒掩模图像进行筛分，其中步骤s3利用神经网络分类算法，对米粒掩模图像进行形态学特征参数比例分析，实现对图像的第一筛分，去除不满足形态学特征要求的米粒图像，获取所述第二米粒图像数据集；由于在经过初步筛选后，任然会存在形状不规则或异常的掩模，需要进一步细化，因此第四步结合米粒的完整度差异进行二分类，具体为基于经过第一筛分之后的第二米粒图像数据集，对米粒掩模图像进行第二筛分处理，实现对米粒掩模图像的两次过滤处理，确保最终图像分割结果的质量；接下来对于第五步，则是对筛分处理后的第三米粒图像数据集进行溯源，获取与第三米粒图像数据集相对应的米粒原始图像，以此构建第四米粒图像数据集，利用所述米粒原始图像进行品种识别，既保留完整米粒图像特征信息，使模型兼具高精度和强泛化能力，又能规避直接使用米粒掩模图像进行识别，可能存在图像失真、影响识别结果的风险；最后一步则是进行米粒品种的识别，通过神经网络分类模型对溯源后的米粒原始图像进行识别，输出米粒的品种识别结果，便可实现谷物米粒准确识别。由此可见，本发明涉及的技术方案，相较于现有技术而言，其能够精准识别谷物米粒的品种，为谷物米粒智能烹饪的米水比例提供数值参考。