冰激凌图像训练方法、检测方法及处理设备与流程

1.本发明涉及图像识别技术领域，尤其涉及一种冰激凌图像训练方法、检测方法及处理设备。


背景技术：

2.随着社会经济的发展，人们消费水平逐年提高，冰激凌行业的市场规模增长迅速，每年均保持稳步增长，具有极大的市场前景。而冰激凌市场的信息采集是建立冰激凌营销体系的重要基础性工作。市场信息的采集、分析与利用驱动着冰激凌需求预测、货源组织、货源供应和品牌培育等营销关键业务的开展，是冰激凌行业研发新品掌握市场动态、了解竞争对手的情况、制定销售方案的重要手段。
3.现有冰激凌的市场稽查任务（即市场信息采集）主要靠人工完成，效率十分低下。同时，近些年来，随着人工智能的不断发展，自动检测技术开始越来越多地应用到工业生产、社会安防和生活消费等各个方面。由于机器具备速度快、无疲劳、能适应恶劣环境等优点，自动检测识别技术的普及极大地提高了检测识别效率，从而提高了工业生产水平，改善了人们的生活质量。
4.在多数场景下，冰柜中存放有多个不同类型的冰激凌，冰激凌摆放凌乱没有规则，同时多个冰激凌一般会相互遮挡，现有的深度学习技术很难将冰柜中不同类型的冰激凌的个数准确无误的识别出来，因此深度学习在冰激凌信息采集上的应用还存在较大的障碍。
5.在实现本发明过程中，发明人发现现有技术中至少存在如下问题：图像识别技术在冰激凌信息采集上的应用还存在较大的障碍，难以进行准确识别，无法实现对冰激凌的自动计数统计。


技术实现要素：

6.本发明的目的在于提供一种冰激凌图像训练方法、检测方法及处理设备，以解决现有技术中存在的图像识别技术在冰激凌信息采集上的应用还存在较大的障碍，难以进行准确识别，无法实现对冰激凌自动计数统计的技术问题。本发明提供的诸多技术方案中的优选技术方案所能产生的诸多技术效果详见下文阐述。
7.为实现上述目的，本发明提供了以下技术方案：本发明提供的一种冰激凌图像训练方法，包括以下步骤：s100：获取真实场景的多张冰激凌样本图像并对冰激凌进行标注，得到多张带有原始mask标签的冰激凌标注图像；s200：选择所述冰激凌标注图像，根据所述原始mask标签抠出所有的冰激凌块图；s300：将所述冰激凌块图制作为含有四通道的冰激凌贴图；s400：对每一张所述冰激凌标注图像，随机选取多张所述冰激凌贴图依次贴附于所述冰激凌标注图像上；s500：制作一张记录所述冰激凌标注图像与所述冰激凌贴图之间贴附情况的白板图；s600：生成每一个所述冰激凌贴图贴上所述冰激凌标注图像之后的原始mask图，并将所述原始mask图与所述白板图进行与运算，得到最终mask图，在所述白板图上将所述最终mask图中所述冰激凌贴图的对应位
置置为0；s700：全部的所述冰激凌贴图贴附完成后，依次将所有的所述原始mask标签与所述白板图进行与运算，得到每个所述原始mask标签在贴附所述冰激凌块图后的实际mask标签；s800：重复执行所述s100~s700步骤，通过mask rcnn实例分割模型进行训练，直至训练的所述冰激凌样本图像数量达到设定值。
8.优选的，所述s100步骤中，所述冰激凌样本图像的数量为1000；所述s400步骤中，所述冰激凌贴图的数量为100。
9.优选的，所述s200步骤中，所述冰激凌块图为单个冰激凌图像所对应的块图。
10.优选的，所述s300步骤中，所述四通道分别为红色通道、绿色通道、蓝色通道和透明通道。
11.优选的，所述s400步骤中，所述冰激凌贴图对所述冰激凌样本图像中的冰激凌进行部分遮挡。
12.优选的，所述s400步骤中，多张所述冰激凌贴图对所述冰激凌标注图像完整覆盖。
13.优选的，所述s700、s800之间还包括步骤s710，s710：对每个识别出的冰激凌，如果所述实际mask标签之间有相交部位，则将所述相交部位的位置进行提取，计算所述相交部位中每个像素的概率，将所述相交部位的像素位置分配给概率最高的所述实际mask标签。
14.一种冰激凌图像检测方法，通过以上任一所述冰激凌图像训练方法对冰激凌图像进行检测，得到所述冰激凌图像中被遮挡冰激凌的所述实际mask标签。
15.优选的，所述检测方法还能够对所述冰激凌图像中的表层未被遮挡冰激凌进行标注，得到表层mask标签。
16.优选的，通过所述实际mask标签、表层mask标签的数量能够对所述冰激凌图像中的冰激凌进行计数。
17.一种处理设备，包括：一个或多个处理器；存储器，用于存储一个或多个计算机程序，一个或多个所述处理器用于执行所述存储器存储的一个或多个计算机程序，以使一个或多个所述处理器执行以上任一所述的基于图像分割的冰激凌检测方法。
18.实施本发明上述技术方案中的一个技术方案，具有如下优点或有益效果：本发明适用于冰激凌之间存在相互重叠遮挡的场景，有效解决了由于冰激凌之间相互遮挡而将同一冰激凌的不同部位分割识别为多个冰激凌的问题，提高了冰激凌分割识别的准确率，实现了对冰激凌数量的自动统计。
附图说明
19.为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍，显而易见，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，附图中：图1是本发明实施例一的流程图。
具体实施方式
20.为了使本发明的目的、技术方案及优点更加清楚明白，下文将要描述的各种示例性实施例将要参考相应的附图，这些附图构成了示例性实施例的一部分，其中描述了实现
本发明可能采用的各种示例性实施例。除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。应明白，它们仅是与如所附权利要求书中所详述的、本发明公开的一些方面相一致的流程、方法和装置等的例子，还可使用其他的实施例，或者对本文列举的实施例进行结构和功能上的修改，而不会脱离本发明的范围和实质。
21.在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”等指示的是基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的元件必须具有的特定的方位、以特定的方位构造和操作。术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。术语“多个”的含义是两个或两个以上。术语“相连”、“连接”应做广义理解，例如，可以是固定连接、可拆卸连接、一体连接、机械连接、电连接、通信连接、直接相连、通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。术语“和/或”包括一个或多个相关的所列项目的任意的和所有的组合。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
22.为了说明本发明所述的技术方案，下面通过具体实施例来进行说明，仅示出了与本发明实施例相关的部分。
23.实施例一：如图1所示，本发明提供了一种冰激凌图像训练方法，包括以下步骤：s100：获取真实场景的多张冰激凌样本图像并对冰激凌进行标注，得到多张带有原始mask标签的冰激凌标注图像。真实场景的多张冰激凌样本图像通过对装有多种冰激凌的冰柜拍摄获取，冰激凌样本图像之间应具有较大的视觉差异，可通过环境光强度、色彩、角度、方向的不同实现这种视觉差异，以提高训练效果。对冰激凌进行标注是将冰激凌与拍摄背景进行区分，可以采用手动标注，或现有技术中的自动标注方法进行自动标注以提高效率。s200：选择冰激凌标注图像，根据原始mask标签抠出所有的冰激凌块图。冰激凌标注图像，通过标注的轮廓，得到冰激凌所对应的原始mask标签，从而抠出冰激凌块图（即为图像处理中的patch），冰激凌块图中只有冰激凌自身所对应的像素，不含有背景中的像素。s300：将冰激凌块图制作为含有四通道的冰激凌贴图，冰激凌贴图通过四个通道获取了冰激凌块图中的区域信息、色彩信息，便于后续处理。s400：对每一张冰激凌标注图像，随机选取多张冰激凌贴图依次贴附于冰激凌标注图像上。冰激凌贴图优选为完整的冰激凌，即未被遮挡的最上层冰激凌所对应的冰激凌贴图。随机选取可以实现对真实场景更好的模拟，便于更好的保证训练效果，多张冰激凌贴图的依次贴附即冰激凌贴图之间也存在先后顺序。冰激凌标注图像是为了获取冰激凌样本图像上每个冰激凌位置信息的二值mask图，其中0代表冰激凌以外的部分，被遮罩而不透明，1代表冰激凌部分，被识别而完全透明。s500：制作一张记录冰激凌标注图像与冰激凌贴图之间贴附情况的白板图。s600：生成每一个冰激凌贴图贴上冰激凌标注图像之后的原始mask图，并将原始mask图与白板图进行与运算，得到最终mask图，最终mask图在冰激凌标注图像的标注位置及冰激凌贴图均为1，在白板图上将最终mask图中冰激凌贴图的对应位置置为0，最终白板图上冰激凌不相关的背景为0、冰激凌贴图位置均为0，只剩下冰激凌标注图像中被冰激凌贴图分割后的位置为1。s700：全部的冰激凌贴图贴附完成后，依次将所有的原始mask标签与白板图（此时白板图在冰激凌贴图的对应位置为0，即不透
明）进行与运算，得到每个原始mask标签在贴附所述冰激凌块图后的实际mask标签。依次进行与运算便于得到每个原始mask标签所对应的实际mask标签，实际mask标签由于被冰激凌贴图分割，由两部分甚至更多部分组成。s800：重复执行s100~s700步骤，通过mask rcnn实例分割模型进行训练，直至训练的冰激凌样本图像数量达到设定值。mask rcnn沿用了faster rcnn的思想，另外多加了一个mask预测分支，在目标检测训练中，具有更好的效果。训练的冰激凌样本图像数量设定值根据实际需要设置，如3000、5000、10000等，以达到理想的训练效果。本发明提供的冰激凌图像训练方法，适用于冰激凌图像中冰激凌之间存在相互重叠遮挡的场景，有效解决了由于冰激凌之间相互遮挡而将同一冰激凌的不同部位分割识别为多个冰激凌的问题，提高了冰激凌图像分割识别的准确率，便于通过实际mask标签实现对冰激凌数量的自动统计，冰激凌数量为在冰激凌图像中能直接看到的冰激凌数量，并不是冰激凌图像中的全部冰激凌，即不包括完全被遮挡的冰激凌。通过对人工标注的100张含有遮挡的真实冰激凌场景图像样本进行实测，通过本训练方法的预测结果与人工标注的mask进行iou（intersection over union，重叠度指标，用于描述检测结果和标注结果重合的程度）计算得出重合度高达95%以上，具有极高的识别准确率，也提高了识别的效率。
24.作为可选的实施方式，s100步骤中，冰激凌样本图像的数量为1000，冰激凌样本图像的数量选择1000数量适中，既能够达到较好的训练效果，也便于完成样本图像的采集工作，当然也可以根据实际场景的需要进行数量调整，如200、500、1500、2000等，此处不再赘述。s400步骤中，冰激凌贴图的数量为100，对于大多数冰柜，100张冰激凌贴图可以实现对放置冰激凌的部分较为完整的覆盖，从而实现对真实场景更好的模拟，当然也可以根据不同类型冰柜相应改变冰激凌贴图的数量，如80张、120张等，此处不再赘述。
25.作为可选的实施方式，s200步骤中，冰激凌块图为单个冰激凌图像所对应的块图，获取单个冰激凌图像才可以实现对单个冰激凌的识别，从而实现对冰激凌的计数，达到训练的目的。
26.作为可选的实施方式，s300步骤中，四通道分别为红色通道、绿色通道、蓝色通道和透明通道，红色通道、绿色通道、蓝色通道组合形成冰激凌块图的色彩信息，透明通道形成冰激凌块图的轮廓信息，从而使冰激凌块图之间可以进行有效区分。
27.作为可选的实施方式，s400步骤中，冰激凌贴图对冰激凌样本图像中的冰激凌进行部分遮挡，真实场景中的多个冰激凌一般会相互遮挡，冰激凌贴图对冰激凌进行遮挡实现了对真实场景的模拟，能够实现更好的训练效果，得到更准确的模型。同时还需要尽量避免完全遮挡，完全遮挡时将无法得到冰激凌贴图下方冰激凌的实际mask标签，无法达到训练效果。
28.作为可选的实施方式，s700、s800之间还包括步骤s710：对每个识别出的冰激凌，如果实际mask标签之间有相交部位，则将相交部位的位置进行提取，计算相交部位中每个像素的概率，将相交部位的像素位置分配给概率最高的实际mask标签。由于每个被分割出的冰激凌图像都是一张与原始图片同样大小的矩阵，记录了其中每个像素是冰激凌的概率，那么对于重叠部取概率高的实际mask标签作为冰激凌的像素，就不会在同一位置进行重复分割，这个分割其实是对像素点进行分类，每个像素的位置都有一个是不是冰激凌像素的概率。基于概率的方法去除了冰激凌图像分割中的重叠部分，只识别出露在表面的冰激凌，被遮挡部位不作分割，从而不会出现识别错误。
29.实施例仅是一个特例，并不表明本发明就这样一种实现方式。
30.实施例二：一种冰激凌图像检测方法，通过实施例一的冰激凌图像训练方法对冰激凌图像进行检测，得到冰激凌图像中被遮挡冰激凌的实际mask标签。该检测方法能够将被遮挡后同一个冰激凌图像的不同部位自动识别为同一个冰激凌，并分割出不同部位的位置，从而提高了冰激凌识别的准确率。
31.作为可选的实施方式，检测方法还能够对冰激凌图像中的表层未被遮挡冰激凌进行标注，得到表层mask标签，表层mask标签对应的为完整的冰激凌。对冰激凌进行标注是将冰激凌图像中的冰激凌与拍摄背景进行区分，可以采用手动标注，或现有技术中的自动标注方法进行自动标注以提高效率。
32.作为可选的实施方式，通过实际mask标签、表层mask标签的数量能够对冰激凌图像中的冰激凌进行计数，每一个实际mask标签、表层mask标签对应一个冰激凌，实际mask标签、表层mask标签的数量加总即为冰激凌图像中的冰激凌数量。冰激凌计数为冰激凌图像中能直接看到的全部冰激凌的数量，并不包括完全被遮挡的冰激凌，如最底层的冰激凌。通过对冰激凌进行自动计数，还便于快速推算出特定品牌冰激凌的市场占用率，从而调整销售策略。
33.实施例三：本发明还提供一种处理设备实施例，包括一个或多个处理器及存储器；其中，存储器用于存储一个或多个计算机程序，一个或多个处理器用于执行存储器存储的一个或多个计算机程序，以使处理器执行上述实施例二的冰激凌检测方法。该处理设备有效解决了由于冰激凌图像中冰激凌之间相互遮挡而将同一冰激凌的不同部位分割识别为多个冰激凌的问题，提高了冰柜中冰激凌图像分割识别的准确率，实现了对冰激凌数量的自动统计。
34.以上所述仅为本发明的较佳实施例而已，本领域技术人员知悉，在不脱离本发明的精神和范围的情况下，可以对这些特征和实施例进行各种改变或等同替换。另外，在本发明的教导下，可以对这些特征和实施例进行修改以适应具体的情况及材料而不会脱离本发明的精神和范围。因此，本发明不受此处所公开的具体实施例的限制，所有落入本技术的权利要求范围内的实施例都属于本发明的保护范围。