无人零售货柜的货品静态识别方法与流程

1.本发明属于无人零售的物体识别领域，尤其涉及一种无人零售货柜的货品静态识别方法。


背景技术：

2.无人零售作为无人值守服务中的一大类，主要指的是无人情形下进行的零售消费行为。无人零售是指基于智能技术实现的无导购员和收银员值守的新零售服务。自动售货机是无人零售模式的一个例子，它最初是在19世纪80年代早期发展起来的。如今，利用移动支付、二维码等新技术，新型无人售货机诞生了。与传统的自动售货机相比，使用这些新开发的技术大大提高了销售货品的效率和用户体验。一般情况下，消费者需要打开一个提供移动支付服务的应用，比如支付宝、微信等，然后通过扫描二维码进入交易结算流程。但是，该业务过程仍然需要遵循传统的操作购物流程。例如，一次只能选择一个货品，当用户想要购买多个货品时，需要重复操作多次，比较不方便。相反，新开发的无人智能自动售货机通过采用先进的计算机视觉技术，可以极大地改善购物体验。腾讯优图实验室在2018年计算机视觉峰会上介绍了一个配备人工智能技术的无人智能零售货柜案例。它将深度学习技术、可视化产品识别算法、微信在线支付等技术集成到一个基于视觉识别的无人智能零售货柜中，探索出一种新的购物模式，相比与传统自动售货机极大地提高了购买体验。随着计算机视觉、rfid、深度学习、物联网等技术的飞速发展，无人智能自动售货机作为一种重要的无人零售形式，在电子商务市场上越来越受欢迎。
3.无人零售货柜环境下的货品静态识别方法核心是目标检测算法。根据目标检测方法的发展，该领域大致可以分为两个主要的检测分支，即两阶段目标检测方法和一阶段目标检测方法。近年来，基于卷积神经网络的两阶段和一阶段检测算法不断更新多个基准数据集中的目标检测性能。2014年，girshick等人提出了r-cnn目标检测方法，是近年来将深度学习引入到目标检测领域的重要算法。在后来的研究中，girshick等人提出了一种改进的fast rcnn方法。基于多任务损失函数的思想，fast rcnn将分类损失和边界框回归损失合并为统一的端到端训练框架。但是，生成正候选框和负候选框仍然需要选择性搜索算法生成物体性候选区域，这将检测器的训练过程分离开来。另外，在测试阶段非常耗时。为了解决这个问题，ren等人提出了一种更快的带有候选区域生成网络模块的r-cnn来帮助生成候选框。此外，受overfeat算法回归的一阶段方法启发，redmon等人提出的一种一阶段的检测方法，命名为yolo，该模型省略了候选边界框提取分支(候选框建议阶段)，将特征提取、候选边界框位置回归和分类集成到同一个卷积网络中。
4.传统的目标检测算法在无人零售货柜中进行货品检测分析时，对图片边缘的货品检测不稳定，常出现框丢失的情况，导致召回率下降，用户体验差，严重影响无人零售货柜的市场推广。


技术实现要素：

5.本发明的目的在于提供一种无人零售货柜的货品静态识别方法，通过引入可变形卷积神经网络构造一阶段目标检测模型，提高货品识别率，解决无人零售货柜中边缘货品检测不稳定的问题。
6.为了实现上述目的，本发明采用以下技术方案：一种无人零售货柜的货品静态识别方法，所述方法包括：构建静态数据集，通过人工采集图像，对所述图像的标签、类别和边界框坐标信息进行人工标记；构造一阶段目标检测模型，所述一阶段目标检测模型包括主干网络和子网络；在所述主干网络中引入可变形卷积神经网络，所述主干网络的归一化层选用组归一化层；在所述子网络中，选用聚焦损失函数对边界框坐标信息进行分类，选用平衡l1损失函数对边界框坐标信息进行坐标回归；对所述一阶段目标检测模型进行训练，以所述静态数据集的图片作为输入，通过所述主干网络进行特征提取，以标签、类别和边界框坐标信息作为输出，获取网格参数；将所述网格参数输入无人零售货柜，进行货品静态识别。
7.具体地，所述主干网络采用残差网络。
8.优选地，所述在主干网络引入可变形卷积神经网络的方法，是在最后三层卷积中引入。
9.优选地，所述对一阶段目标检测模型进行训练的方法，采用随机度下降算法和动量算法。
10.具体地，所述构造一阶段目标检测模型的方法，是在retinanet模型基础上构造drtnet模型。
11.本发明的有益效果是：在retinanet模型基础上加入可变形卷积神经网络和组归一化层，选用聚焦损失函数和平衡l1损失函数进行分类和回归，提高了原始数据集的召回率，一定程度防止边界框丢失的情况，提高了无人零售货柜的货品识别率。
附图说明
12.图1是本发明的无人零售货柜的货品静态识别方法流程图；
13.图2是本发明中可变形卷积神经网络的框架示意图；
14.图3是本发明实施例无人零售货柜结构示意图；
15.图4是本发明实施例无人零售货柜工作流程图；
16.图5是本发明实施例饮料货品检测结果图。
17.图中各标号表示：
18.1、无人零售货柜；2、柜门；3、摄像头。
具体实施方式
19.为了使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例对本发明的具体实施方式作进一步详细描述。应该理解，此处所描述的实施例仅用于解释本发明，但不用于限制本发明的范围。
20.请参阅图1，图1是本发明的无人零售货柜的货品静态识别方法流程图。其中，
21.步骤s1：构建静态数据集，通过人工采集图像，对图像的标签、类别和边界框坐标
信息进行人工标记。
22.在本实施例中，货品种类是随机从市面上选取了10种饮料来构建的，分别是：加多宝(jdb)、脉动(mz)、芬达(ft)、康师傅冰红茶(ibt)、营养快线(ne)、统一阿萨姆熬茶奶绿(jgmt)、美汁源(mm)、百岁山(gten)、统一阿萨姆原味奶茶(uamt)和力量帝(vvw)。静态识别的整个数据集是仿照voc2007数据格式，图片主要有1280
×
720和1920
×
1080两个尺寸。整个数据集的图片是34052张，所有图片都进行了标注，总共标注出来的饮料数量是155153个。
23.步骤s2：构造一阶段目标检测模型，一阶段目标检测模型包括主干网络和子网络；在主干网络中引入可变形卷积神经网络，主干网络的归一化层选用组归一化层；在子网络中，选用聚焦损失函数对边界框坐标信息进行分类，选用平衡l1损失函数对边界框坐标信息进行坐标回归。
24.步骤s3：对步骤s2中的一阶段目标检测模型进行训练，以步骤s1的静态数据集的图片作为输入，通过主干网络进行特征提取，以标签、类别和边界框坐标信息作为输出，获取网格参数。该过程具体使用了小批量的随机梯度下降、动量算法进行训练。
25.步骤s4：将网格参数输入无人零售货柜，进行货品静态识别。
26.上述步骤s2中，构造一阶段目标检测模型的方法，是在retinanet模型基础上构造drtnet模型，主干网络采用残差网络，引入可变形卷积神经网络是在最后三层卷积中引入。具体在本实施例中，请参阅图2本发明中可变形卷积神经网络的框架示意图。本发明实施例在可变形卷积运算中，引入自适应学习变量，没有更改传统卷积核运算的规则。同样对于每个输出y(p0)，都要从输入的特征图上上采样9个位置，这9个位置是中心位置x(p0)向四周扩散得到的，但是多了δp
n
，允许采样点扩散成非gird形状。见公式(1)
[0027][0028]
组归一化将特征图按通道维度分为许多组，对每一组做归一化，及先将特征图的维度由[n,c,h,w]改变为[n,g，c//g,h,w]，归一化的维度为[c//g,h,w]。gn的归一化方式避开了batch size对模型的影响，可以解决上述提到的问题，因此设计的一阶段目标检测网络将批量归一化层全部替换成了组归一化层。
[0029]
分类损失函数使用聚焦损失函数，聚焦损失函数通过调整损失函数的计算公式使一阶段目标检测网络达到和faster rcnn一样的准确度，它是交叉熵损失函数的改进版本。在交叉熵前增加一个调节因子(1-p
t
)
γ
，且γ≥0，如公式(2)
[0030]
fl(p
t
)＝-(1-p
t
)
γ
log(p
t
)
ꢀꢀꢀ
(2)
[0031]
当γ越来越大时，损失函数在容易分类的部分几乎为零，而p
t
较小的部分(难区分样本)，损失函数值仍然较大。这样就可以保证在类别不平衡较大时，累加样本损失函数值，可以让难区分样本贡献更多的损失函数值。
[0032]
在实际使用时，在公式(2)的基础上，增加一个α平衡因子，可以产生一个轻微的精度提升，见公式(3)：
[0033]
fl(p
t
)＝-α
t
(1-p
t
)
γ
log(p
t
)
ꢀꢀꢀ
(3)
[0034]
在坐标回归当中是使用平衡l1损失函数，其中样本损失大于等于1.0的为离群样本，小于等于1.0的为准确样本。平衡l1损失函数的关键思想是提升关键部分的回归梯度，
即来自准确样本的梯度，以重新平衡所涉及的样本和任务，从而在分类、整体定位和准确定位方面实现更平衡的训练。设计了一个提升梯度的公式(4)如下所示：
[0035][0036]
其中，α控制着准确样本梯度的提升，可通过设定较小α来提升准确样本的梯度同时不影响离群样本的值。控制调整回归误差的上界，能够使得不同任务间更加平衡。α和γ从样本和任务层面控制平衡，这两个控制不同方面的因素相互增强，达到更加平衡的训练。由梯度公式可以推导出平衡l1损失函数公式(5)所示：
[0037][0038]
请参阅图3和图4，图3是本发明实施例的无人零售货柜结构示意图，图4是本发明实施例无人零售货柜工作流程图。
[0039]
当用户打开无人零售货柜1的柜门2时候，触发传感器使摄像头3拍下第一张图片。用户选完货品后，手伸出了无人零售货柜1，由红外传感器检测到手的离开，触发摄像头3拍下第二张图片。通过用户拿取货品的前后两张无人零售货柜1的摆放图片，来确定用户拿取货品的种类和数量。
[0040]
请参阅图5，使用了本发明实施例提供的无人零售货柜的货品静态识别方法，对本实施例一种饮料货品进行识别的结果。从图5本发明实施例饮料货品检测结果图中看出，使用该方法可提高原始数据集的召回率，在本实施例中，饮料货品的边界框无丢失。
[0041]
最后所应说明的是，以上具体实施方式仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。