冰柜商品图像识别的训练方法、模型及占有率计算方法与流程

1.本发明涉及图像识别技术领域，尤其涉及一种冰柜商品图像识别的训练方法、模型及占有率计算方法。


背景技术：

2.随着社会经济的发展，人们消费水平逐年提高，以冰激凌、雪糕等为代表的冷饮市场规模增长迅速，每年均保持稳步增长，具有极大的市场前景。而冷饮市场的信息采集是建立营销体系的重要基础性工作。市场信息的采集、分析与利用驱动着冷饮市场需求预测、货源组织、货源供应和品牌培育等营销关键业务的开展，是冰激凌行业研发新品掌握市场动态、了解竞争对手的情况、制定销售方案的重要手段。
3.现有冷饮市场稽查任务（即市场信息采集）用于实现对特定冷饮产品的市场销售情况进行统计，主要依靠人工完成，效率十分低下。同时，近些年来，随着人工智能的不断发展，自动检测技术开始越来越多地应用到工业生产、社会安防和生活消费等各个方面。由于机器具备速度快、无疲劳、能适应恶劣环境等优点，自动检测识别技术的普及极大地提高了检测识别效率，从而提高了工业生产水平，改善了人们的生活质量。
4.在实现本发明过程中，发明人发现现有技术中至少存在如下问题：在多数场景下，现有的人工智能技术还无法对冰柜中的不同种类商品进行准确快速识别，导致无法对特定种类商品的市场占有率进行快速计算。


技术实现要素：

5.本发明的目的在于提供一种冰柜商品图像识别的训练方法、模型及占有率计算方法，以解决现有技术中存在的人工智能技术还无法对冰柜中的不同种类商品进行准确快速识别，导致无法对特定种类商品的市场占有率进行快速计算的技术问题。本发明提供的诸多技术方案中的优选技术方案所能产生的诸多技术效果详见下文阐述。
6.为实现上述目的，本发明提供了以下技术方案：本发明提供一种冰柜商品图像识别的训练方法，用于对冰柜内的冷饮商品进行识别，包括以下步骤：s10：获取包含有多个所述冷饮商品的冰柜商品图像，输入第一神经网络模型，所述第一神经网络模型对清晰的所述冷饮商品进行标注，得到标注的多个多边形边框；s20：对所述多边形边框进行解析，得到所述冷饮商品在多个特征层上的映射、初始训练图像及相应的mask标签；s30：将所述初始训练图像输入初始神经网络模型，得到与所述mask标签格式相同的冷饮商品图像数据；s40：将所述冷饮商品图像数据、mask标签数据代入损失函数计算，并通过反向传播算法将所述损失函数计算得到的损失回传，更新所述初始神经网络模型的参数；s50：反复执行所述s40步骤，最终得到训练好的参数矩阵，将所述参数矩阵输入所述初始神经网络模型中，得到训练好的第二神经网络模型。优选的，所述第一神经网络模型中，按照清晰的冰激凌、不清晰的冰激凌、广告纸、冰激凌以外的商品四个标注类别进行训练，形成冰柜商品的类别信息，对清晰的冰激凌进
行标注后得到所述多边形边框。
7.优选的，所述s10步骤中，所述多边形边框为20个点依次均匀连接形成的封闭区域。
8.优选的，所述s20步骤中，所述特征层的数量为三个，三个所述特征层的尺寸分别为19*19像素、38*38像素、76*76像素。
9.优选的，所述s20步骤中，所述映射的参数为所述冷饮商品的置信度，以及所述多边形边框上每个点的x偏移量、y偏移量；所述x偏移量、y偏移量分别为每个点的x坐标、y坐标相对于网格左上角的偏移量，所述网格为每个点在所述特征层上位置的对应网格。
10.优选的，所述s40步骤中，所述损失函数包括：,,,,,其中，l
obj
表示所述冷饮商品的目标损失，l
off
表示中心点坐标偏移量的损失，l
poly
表示所述多边形边框的边界点坐标相对于中心点的损失，l
cls
表示所述冷饮商品的分类损失，l
loss
表示总的损失；λ
obj
、λ
nobj
、λ
off
、λ
poly
、λ
class
分别表示对应损失的权重系数，s表示特征图的边长，p表示所述多边形边框上的20个坐标点，表示特征图上第i个网格是否存在目标，表示特征图上第i个网格是否不存在目标； ci、分别表示特征图第i个网格目标的真实值和预测值，xi、yi、、分别表示第i个网格中目标对于网格左上角的实际偏移量与预测偏移量在 x，y方向上的数值； smooth
l1
表示回归损失函数，x
i,j
、y
i,j
、、分别表示实际与预测的20个物体边界点坐标相对于网格左上角的实际偏移量与预测偏移量在 x，y方向上的数值，i表示在s*s个网格中的第i个网格，j表示在第i个网格中的第j个坐标，b表示所述冰柜商品的类别数量， d表示所述冷饮商品的类别，表示所述冷饮商品属于第d个类别的信息熵。
11.一种冰柜商品图像识别模型，所述模型为一种基于yolov5改进的具有实例分割功能的模型，将采集到的包含有多个冷饮商品的冰柜商品图像通过以上任一所述的训练方法进行训练，所述模型的操作流程如下：s100：将采集到的所述冰柜商品图像输入，进行图像大小调整及标准化处理，并送入骨干卷积神经网络中提取特征，得到第一特征层；s200：通过所述第一特征层得到不同大小的第二特征层、第三特征层；s300：将所述第一特征层、第
二特征层、第三特征层中的每一个像素作为一个网格，对每个所述网格生成x坐标方向、y坐标方向的相对于所述网格左上角的第一偏移量，以及多边形边框中每个点相对于所述网格左上角的第二偏移量；s400：将所述第一偏移量、第二偏移量、目标置信度及商品类别信息共同作为所述第一特征层、第二特征层、第三特征层的输出参数。
12.优选的，所述s100步骤中，调整后的图像尺寸为608*608像素，标准化处理的参数为均值0.45，方差0.3。
13.一种冰柜商品占有率计算方法，所述计算方法通过以上任一所述的冰柜商品图像识别模型进行，包括以下步骤：s1000：对包括有商品的冰柜进行图像采集，得到冰柜商品图像，并判断所述冰柜商品图像质量是否合格，如合格，执行步骤s2000，否则执行步骤s7000；s2000：将所述冰柜商品图像的尺寸调整为608*608像素，并进行数据增强处理，得到预处理图像；s3000：将所述预处理图像输入以上任一所述的第二神经网络模型，得到所述预处理图像中冷饮商品的初始多边形边框，并输出每个网格所包含目标是目标中心的概率；s4000：判断所述概率是否大于设定阈值，如果大于所述设定阈值，则执行步骤s5000，否则执行步骤s7000；s5000：保留所述网格坐标，根据所述网格坐标及其对应的点坐标确定的所述冷饮商品的多边形边框，根据所述多边形边框确定所述冷饮商品的mask标签；s6000：通过所述mask标签计算得到所述冷饮商品的面积占比，得出所述冷饮商品的市场占用率；s7000：返回所述s1000步骤，对新的所述冰柜商品图像执行所述s1000~s7000步骤。
14.优选的，所述s2000步骤中，所述数据增强处理操作包括上下翻转、左右翻转、高斯模糊及旋转中的一种或多种。
15.实施本发明上述技术方案中的一个技术方案，具有如下优点或有益效果：本发明通过图像识别技术实现冰柜中不同种类的商品陈列面积的计算，可以精准地识别出不同品规的商品数量并进行面积占比计算，知道展示在冰柜中的每一类商品的个数以及这类商品在所有商品当中的面积占比，用于预测每一类商品在市场的占有率，实时掌握市场动态制定营销策略。
附图说明
16.为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍，显而易见，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，附图中：图1是本发明中一种冰柜商品图像识别的训练方法实施例的流程图；图2是本发明中一种冰柜商品图像识别模型实施例的流程图；图3是本发明中一种冰柜商品占有率计算方法实施例的流程图。
具体实施方式
17.为了使本发明的目的、技术方案及优点更加清楚明白，下文将要描述的各种示例性实施例将要参考相应的附图，这些附图构成了示例性实施例的一部分，其中描述了实现本发明可能采用的各种示例性实施例。除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施
方式。应明白，它们仅是与如所附权利要求书中所详述的、本发明公开的一些方面相一致的流程、方法和装置等的例子，还可使用其他的实施例，或者对本文列举的实施例进行结构和功能上的修改，而不会脱离本发明的范围和实质。
18.在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”等指示的是基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的元件必须具有的特定的方位、以特定的方位构造和操作。术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。术语“多个”的含义是两个或两个以上。术语“相连”、“连接”应做广义理解，例如，可以是固定连接、可拆卸连接、一体连接、机械连接、电连接、通信连接、直接相连、通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。术语“和/或”包括一个或多个相关的所列项目的任意的和所有的组合。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
19.为了说明本发明所述的技术方案，下面通过具体实施例来进行说明，仅示出了与本发明实施例相关的部分。
20.实施例一：如图1所示，本发明提供了一种冰柜商品图像识别的训练方法，用于对冰柜内的冷饮商品进行识别，包括以下步骤。s10：获取包含有多个冷饮商品的冰柜商品图像，输入第一神经网络模型，第一神经网络模型对清晰的冷饮商品进行标注，得到标注的多个多边形边框（图像处理中的polygon），多边形边框将冷饮商品围成一个封闭的多边形。s20：对多边形边框进行解析，得到冷饮商品在多个特征层上的映射，初始训练图像及相应的mask标签；s30：将初始训练图像输入初始神经网络模型，得到与mask标签格式相同的冷饮商品图像数据；s40：将冷饮商品图像数据、mask标签数据代入损失函数计算，并通过反向传播算法将损失函数计算得到的损失回传，更新初始神经网络模型的参数。通过损失函数计算迭代，能够得到新的神经网络模型参数，从而更新优化初始神经网络模型。s50：重复执行s40步骤，最终得到训练好的参数矩阵，将参数矩阵输入初始神经网络模型中，得到训练好的第二神经网络模型。通过本训练方法得到的第二神经网络模型能够对目标冷饮产品进行快速识别。
21.作为可选的实施方式，第一神经网络模型中，按照清晰的冰激凌、不清晰的冰激凌、广告纸、冰激凌以外的商品四个标注类别进行训练，形成冰柜商品的类别信息，对清晰的冰激凌进行标注后得到多边形边框。此时，目标是识别冷饮商品中的冰激凌，如果只标注冰激凌，由于其它商品及广告纸与冰激凌太相似，模型很难区分哪些是冰激凌哪些不是，因此分为4个类别进行训练，这样大大降低了训练的隐性难度。对清晰的冰激凌、不清晰的冰激凌、广告纸、冰激凌以外的商品四个类别进行训练直接采用现有技术中的目标识别训练方法即可。
22.作为可选的实施方式，s10步骤中，多边形边框为20个点依次均匀连接形成的封闭区域，20个点便于对冷饮商品的轮廓进行较为准确的勾勒，最终得到更精准的神经网络模型。
23.作为可选的实施方式，s20步骤中，特征层的数量为三个，三个特征层的尺寸分别为19*19像素、38*38像素、76*76像素，分别为第一特征层、第二特征层和第三特征层，像素也为网格，即三个特征层的尺寸分别为19*19网格、38*38网格、76*76网格，三个特征层的尺
寸与yolov5实现了适配，便于进行快速处理。
24.作为可选的实施方式，s20步骤中，映射的参数为冷饮商品的置信度，多边形边框上每个点的x偏移量、y偏移量，由于冷饮商品的多边形边框有20个点，从而得到20组x偏移量、y偏移量。x偏移量、y偏移量分别为像素的x坐标、y坐标相对于网格左上角的偏移量，所述网格为每个点在所述特征层上位置的对应网格。网格即为多边形边框上的一个点所在特征层位置对应的网格。对于置信度，每个冷饮商品的中心映射到特征层上对应坐标位置上的值置为1，不是的置为0。
25.作为可选的实施方式，s40步骤中，损失函数包括：,,,,,其中，l
obj
表示冷饮商品的目标损失，l
off
表示中心点坐标偏移量的损失， l
poly
表示多边形边框的边界点坐标相对于中心点的损失，l
cls
表示冷饮商品的分类损失，l
loss
表示总的损失；λ
obj
、λ
nobj
、λ
off
、λ
poly
、λ
class
分别表示对应损失的权重系数，s表示特征图的边长，特征图为特征层在每行或每列网格的个数，是特征层的边长；p表示多边形边框上的20个坐标点，表示特征图上第i个网格是否存在目标，表示特征图上第i个网格是否不存在目标；ci、分别表示特征图第i个网格（网格的排序方式为从左到右、从上到下，最左上角的为第0个，最右下角为最后一个）目标的真实值和预测值， xi、yi、、分别表示第i个网格中目标对于网格左上角的实际偏移量与预测偏移量在 x，y方向上的数值；smooth
l1
表示回归损失函数，x
i,j
、y
i,j
、、分别表示实际与预测的20个物体边界点坐标（即冰激凌多边形边框polygon上的20个点）相对于网格左上角的实际偏移量与预测偏移量在 x，y方向上的数值，i表示在s*s个网格中的第i个网格，j表示在第i个网格中的第j个坐标，一共预测s*s*20个坐标偏移。b表示冰柜商品的类别数量（本实施例中的类别为四个），d表示冷饮商品所属的类别（本实施例中共有四个类别，d即0，1，2，3具体类别中的哪一个）,表示冷饮商品属于第d个类别的信息熵。
26.实施例仅是一个特例，并不表明本发明就这样一种实现方式。
27.实施例二：一种冰柜商品图像识别模型，如图2所示，模型为一种基于yolov5改进的具有实例
分割功能的模型，将采集到的包含有多个冷饮商品的冰柜商品图像通过本发明提供的训练方法进行训练，模型的操作流程如下。s100：将采集到的冰柜商品图像输入，进行图像大小调整及标准化处理，并送入骨干卷积神经网络中提取特征，得到第一特征层；s200：通过第一特征层得到不同大小的第二特征层、第三特征层；s300：将第一特征层、第二特征层、第三特征层中的每一个像素作为一个网格，对每个网格生成x坐标方向、y坐标方向的相对于网格左上角的第一偏移量，以及多边形边框中每个点相对于网格左上角的第二偏移量，第二偏移量也包括x坐标方向、y坐标方向。s400：将第一偏移量、第二偏移量、目标置信度及商品类别信息共同作为第一特征层、第二特征层、第三特征层的输出参数。每个点对应的第一偏移量有x坐标方向、y坐标方向2个值，多边形边框中20个点就有x坐标方向、y坐标方向40个值、目标的置信度为1个值、4个类别的概率值为4个，总计47个值，每层输出的特征层尺寸为s*s，则每层的输出就为s*s*47。通过本图像识别模型，能够对目标冷饮产品，如冰激凌进行快速准确识别。
28.作为可选的实施方式，s100步骤中，调整后的图像尺寸为608*608像素，标准化处理的参数为均值0.45，方差0.3。608*608像素为原始yolov5的骨干网络要求输入的尺寸，调整后的图像尺寸与yolov5的要求适配，通过均值0.45，方差0.3处理后使yolov5更易提取输入图像尺寸的特征。
29.实施例三：一种冰柜商品占有率计算方法，如图3所示，包括以下步骤：s1000：对包括有商品的冰柜进行图像采集，得到冰柜商品图像，并判断冰柜商品图像质量是否合格，判断是否合格可以采用现有技术，也可以进行人工判断，主要标准为图像需要包括冰柜的大部分冷饮商品并且清晰，能准确分辨冰柜中的大部分冷饮商品。如合格，执行步骤s2000，否则执行步骤s7000。s2000：将冰柜商品图像的尺寸调整为608*608像素，并进行数据增强处理，得到预处理图像，预处理后，便于冰柜商品图像在第二神经网络模型中进行处理。s3000：将预处理图像输入本发明提供的第二神经网络模型，得到预处理图像中冷饮商品的初始多边形边框，在第二神经网络模型中，对另外三种商品类别（不清晰的冰激凌、广告纸、冰激凌以外的商品）直接不进行标注，并输出每个网格所包含目标是目标中心的概率。s4000：判断概率是否大于设定阈值，如果大于设定阈值，此处阈值根据经验进行设定，如0.3、0.5等，则执行步骤s5000，否则执行步骤s7000。s5000：保留网格坐标，根据网格坐标及其对应的点坐标确定的冷饮商品的多边形边框，根据多边形边框确定冷饮商品的mask标签，mask标签即为冷饮商品看到的轮廓。s6000：通过mask标签计算得到冷饮商品的面积占比，得出冷饮商品的市场占用率。具体而言，当需要某一特定种类或品牌的冷饮商品（如可爱多冰激凌）在冰激凌市场及整个冷饮市场的市场占用率数据时，结合mask标签、全部冰激凌标注（可采用现有技术进行标注）、全部冷饮商品标注（可采用现有技术进行标注），对各类型标注的占比进行计算，即可得到相应的市场占用率。s7000：返回s1000步骤，对新的冰柜商品图像执行s1000~s7000步骤。通过真实的实验测试，测试了268张真实拍摄的图片，通过对这些图片中每一类冰激凌标注mask，然后计算每一类冰激凌的mask在所有商品mask中的面积占比，与模型计算的面积占比进行对比，计算得到本发明的平均准确率达到了95%以上。本发明通过图像识别技术实现冰柜中不同种类的商品陈列面积的计算方法，可以精准地识别出不同品规的商品数量并进行面积占比计算，知道展示在冰柜中的每一类商品的个数以及这类商品在所有
商品当中的面积占比，用于了解每一类商品在市场的占有率，实时掌握市场动态制定营销策略。
30.作为可选的实施方式，s2000步骤中，数据增强处理操作包括上下翻转、左右翻转、高斯模糊及旋转中的一种或多种。由于实际场景复杂多变，而采集到的图像样本不一定能覆盖全部情况，因此通过这些数据增强的方式来模拟实际场景中的这些情况，对实际场景可以进行更好的识别。
31.以上所述仅为本发明的较佳实施例而已，本领域技术人员知悉，在不脱离本发明的精神和范围的情况下，可以对这些特征和实施例进行各种改变或等同替换。另外，在本发明的教导下，可以对这些特征和实施例进行修改以适应具体的情况及材料而不会脱离本发明的精神和范围。因此，本发明不受此处所公开的具体实施例的限制，所有落入本技术的权利要求范围内的实施例都属于本发明的保护范围。