一种用于货柜动态模糊商品的识别方法与流程

1.本发明涉及商品识别领域，具体涉及一种用于货柜动态模糊商品的识别方法。


背景技术：

2.当下主流的货柜技术方案有重力感应解决方案、动态视觉识别方案和静态视觉识别方案。其中，动态视觉识别方案通常是在柜体顶端或两侧安装多个摄像头，对消费者开门后拿取商品的过程进行录制，视频上传至后台系统后，通过对购物视频进行识别从而确定消费者拿取的商品信息。
3.在现阶段的动态视觉识别中，如果购物者快速拿取商品，则会导致视频画面模糊，影响商品的识别。而目前模糊图像的识别方法主要是通过各种方法提取模糊图像的模糊核，对模糊图像进行反卷积得到清晰图像，从而完成图像识别。但该方法较为复杂，且不同方法得到的模糊核之间具有差异，得到的清晰图像与实际的清晰图像之间也会有差异，不能准确识别所购商品的清晰图像，也就无法通过清晰图像获取正确的商品类别。


技术实现要素：

4.为了解决上述技术问题，本发明的目的在于提供一种用于货柜动态模糊商品的识别方法，所采用的技术方案具体如下：第一方面，本发明一个实施例提供了一种用于货柜动态模糊商品的识别方法，所述方法包括：采集在所选商品移动时的模糊图像并提取模糊商品图像；根据所述所选商品的疑似商品类别进行匹配获取清晰商品图像；所述清晰商品图像为每类疑似商品对应的清晰商品图像；根据每行像素的曝光时间和所述所选商品的偏移速度获取在所述曝光时间内商品的偏移距离；根据所述偏移距离和每行像素宽度获取在所述曝光时间内的行缩放因子；以所述行缩放因子作为所述清晰商品图像中相应的行像素值的权重，根据所述行像素值的权重对所述清晰商品图像中的至少两行像素值进行融合得到融合后的行像素值，根据所述融合后的每行像素值得到融合商品图像；通过所述模糊商品图像筛选所述融合商品图像获取所述所选商品的商品类别。
5.进一步，所述所选商品的疑似商品类别的获取步骤包括：通过分割所述模糊图像提取所述模糊图像中的模糊商品图像；根据所述模糊商品图像获取所述商品的形状信息和颜色信息；根据所述商品的形状信息和颜色信息对所述商品进行分类获取多类疑似商品类别。
6.进一步，所述根据所述所选商品的疑似商品类别进行匹配获取清晰商品图像的获取步骤包括：
通过所述模糊商品图像获取所述商品的姿态信息；所述姿态信息为所述商品的包装面的朝向和姿态角信息；筛选每类疑似商品图像的姿态信息与所述模糊商品图像的姿态信息保持一致，获取与每类所述疑似商品对应的所述清晰商品图像。
7.进一步，所述根据每行像素的曝光时间和所述所选商品的偏移速度获取在所述曝光时间内商品的偏移距离的获取步骤包括：通过相机参数获取所述每行像素的曝光时间；根据所选商品的移动速度和角度获取所述所选商品的偏移速度；将所述每行像素的曝光时间和所述所选商品的偏移速度的乘积作为所述曝光时间内商品的所述偏移距离。
8.进一步，所述根据所述偏移距离和每行像素宽度获取在所述曝光时间内的行缩放因子的获取步骤包括：根据所述偏移距离和每行像素宽度的比值获取在所述曝光时间内的行缩放因子。
9.进一步，所述以所述行缩放因子作为所述清晰商品图像中相应的行像素值的权重，根据所述行像素值的权重对所述清晰商品图像中的至少两行像素值进行融合得到融合后的行像素值，根据所述融合后的每行像素值得到融合商品图像的获取步骤包括：获取所述清晰商品图像的行像素值；通过将至少两行所述行像素值结合对应的所述行缩放因子加权求和获取融合后的行像素值；计算每行所述融合后的行像素值获取所述融合商品图像。
10.进一步，所述通过所述模糊商品图像筛选所述融合商品图像获取所述所选商品的商品类别的获取步骤包括：获取所述模糊商品图像的行像素值；计算所述模糊商品图像和所述融合商品图像对应行的行像素值的差值作为行差异值；将每行所述行像素差异值之和作为所述总差异值；筛选所述总差异值最小的融合商品图像获取所述所选商品的商品类别。
11.本发明实施例具有如下有益效果：1.本发明实施例通过采集模糊商品图像并分类得到所有疑似商品类别，获取每类疑似商品对应的清晰商品图像后，通过计算清晰商品图像的像素值获取融合规则，结合清晰商品图像和融合规则获取融合商品图像，对比融合商品图像和模糊图像的差异性识别商品类别，大大提高了商品识别的准确率。
12.2.本发明实施例通过模糊图像帧的表示序列、相机的曝光特性和商品的移动信息得到融合规则，将融合规则应用到清晰商品图像上就可以得到每类疑似商品的融合商品图像与实际模糊商品图像的差异，提高了识别的速度和效率。
附图说明
13.为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅
仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
14.图1为本发明一个实施例所提供的一种用于货柜动态模糊商品的识别的方法流程图；图2为本发明一个实施例所提供的一种用于货柜动态模糊商品的识别方法中商品信息区域图；图3为本发明一个实施例所提供的一种用于货柜动态模糊商品的识别方法中偏移方向图；图4为本发明一个实施例所提供的一种用于货柜动态模糊商品的识别方法中偏移距离和行宽图；图5为本发明一个实施例所提供的一种用于货柜动态模糊商品的识别方法中像素值融合图。
具体实施方式
15.为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种用于货柜动态模糊商品的识别方法，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。
16.除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
17.本发明实施例所适用的具体场景为动态视觉识别过程中消费者在拿取商品的过程中导致采集到的商品图像比较模糊，进而需要对采集到的模糊商品图像进行识别。其中，主要通过采集模糊商品图像的外观信息对商品进行分类，获取所有疑似商品类别，并调整每类疑似商品图像的姿态信息与模糊商品图像的姿态信息保持一致获取与所有疑似商品类别一一对应的清晰商品图像。根据清晰商品图像的像素值及对应的行像素值权重获取融合规则，并根据该融合规则对每张清晰商品图像的每行像素值进行融合得到融合后的行像素值，以融合后的行像素值获取对应的融合商品图像，对比每张融合商品图像和模糊商品图像的差异识别所购商品的类别，提高了识别的准确性。
18.下面结合附图具体的说明本发明所提供的一种用于货柜动态模糊商品的识别方法的具体方案。
19.请参阅图1，其示出了本发明一个实施例提供的一种用于货柜动态模糊商品的识别方法流程图，该方法包括：步骤s1：采集在所选商品移动时的模糊图像并提取模糊商品图像。
20.本发明实施例在货柜的柜体顶端安装相机采集图像，相机可以采用深度相机，相机的曝光方式采用卷帘曝光方式对购物者拿取商品的过程进行拍摄。卷帘曝光方式为从第一行开始曝光，曝光一行之后开始曝光下一行，以此类推，经过行后第行开始曝光，因此，该种曝光方式捕捉到的一幅图像中，每行的曝光时刻不同，在所拍摄的目标在快速运动的情况下，所曝光的图像可能会出现运动模糊。
21.在拍摄到的购物视频中，包含购物者的手腕信息和所选商品的商品信息。商品信息包括商品形状信息、颜色信息和姿态信息。
22.由于购物者快速拿取商品，商品与相机之间产生相对运动导致购物视频中的商品图像变的模糊，此时相机采集到的所选商品图像为商品的模糊图像。
23.通过相机采集连续多帧该模糊图像并对该模糊图像进行语义分割。语义分割过程包括：1）数据集为选取的模糊图像；2）标签为3类，进行像素级分类，标注背景像素值为0，商品的像素值为1，购物者的胳膊像素值为2；3）损失函数为交叉熵损失函数；4）得到语义分割结果。
24.通过对该模糊图像的语义分割结果提取遮罩结果，将表示所购商品的像素值设为1，其他像素值设为0，即可提取到模糊图像中的模糊商品图像。
25.步骤s2：根据所选商品的疑似商品类别进行匹配获取清晰商品图像；清晰商品图像为每类疑似商品对应的清晰商品图像。
26.相同包装的商品以及相同包装不同颜色的商品均认为是同类商品，所选商品的商品类别的获取方法为：在模糊商品图像中，通过提取所选商品的形状信息和颜色信息对所选商品进行分类获取所有商品类别。具体方法包括：1）通过步骤s1中的方法获取模糊商品图像；2）对模糊商品图像进行边缘提取得到所选商品的模糊形状信息。该模糊形状信息是指商品的包装类别，例如：瓶装、罐装、袋装或者盒装；3）根据模糊商品图像中每个像素点的像素值，获取像素点的颜色类别；4）在所选商品的模糊形状信息中，筛选出与该商品形状相同的所有候选商品，再进一步获取所有候选商品的颜色类别，若候选商品类别的颜色类别包含模糊商品图像的颜色类别，则该候选商品类别即为疑似商品类别。
27.每类疑似商品对应的清晰商品图像的获取方法为：根据模糊商品图像获取所选商品的姿态信息，该姿态信息包括所选商品的包装面的朝向和姿态角信息。该包装面的朝向由该商品的正视角、侧视角和俯视角所组成；该姿态角信息由该商品的航向角、俯仰角和横滚角所组成。
28.姿态信息的获取步骤具体包括：包装面的朝向的获取方法为：对于瓶装和罐装的商品，将其包装面进行分类并分别记：瓶身为1、瓶盖为2和瓶底为3；对于袋装和盒装的商品，将其包装面进行分类并分别将正面、背面、左侧面、右侧面、上侧面和下侧面记为1到6。由于商品在货柜中正向摆放，根据经验可知用户在拿取商品时，被相机拍摄到的三个包装面分别为商品的瓶盖、瓶身或正面、左侧面和上侧面。
29.对于瓶装和罐装的商品，正视图和侧视图均为商品瓶身，俯视图为商品瓶盖，则包装面朝向序列值为；对于袋装和盒装的商品，正视图为商品正面，侧视图为商品左侧
面，俯视图为商品上侧面，则包装面朝向序列值为。则对于模糊商品图像中的所购商品，可得到其包装面的朝向序列，其中，的值分别为该商品的正视角、侧视角和俯视角三个朝向的包装面的类别。
30.姿态角信息的获取方法为：根据深度相机获得所选商品的深度信息，根据该深度信息获得该商品的三维点云，通过三维空间获取所选商品的姿态信息，即可得到所选商品的三个姿态角序列。
31.结合该商品的包装面朝向和姿态角获取该商品的姿态信息。
32.请参阅图2，其示出了本发明一个实施例提供的一种用于货柜动态模糊商品的识别方法中商品信息区域图。图中包含无信息区域10和商品信息区域20。
33.根据该商品的姿态信息获取每类商品类别各自对应的清晰商品图像，具体方法为：1）将模糊商品图像的内容分为两个区域，一个区域表示所选商品信息，该商品信息包括商品的姿态信息和外观信息，另一个区域全部显示为黑色；2）将表示所选商品信息的区域作为商品信息区域，筛选每类疑似商品的商品信息区域中的姿态信息与模糊商品图像的商品信息区域中的姿态信息保持一致的疑似商品类别，获取与该类别对应的清晰商品图像，则清晰商品图像与模糊商品图像的商品信息区域中姿态信息相同，即若模糊商品图像中商品信息区域的姿态信息为，则清晰商品图像中商品信息区域的姿态信息同样为。
34.通过调整每类疑似商品的商品信息区域中的姿态信息与模糊商品图像的商品信息区域中的姿态信息保持一致获取对应的清晰商品图像，大大减少了获取清晰商品图像的步骤。
35.步骤s3：根据每行像素的曝光时间和所选商品的偏移速度获取在曝光时间内商品的偏移距离。
36.根据相机参数可知，相机每秒拍摄帧，且每帧图像中有行像素，则每行像素的曝光时间，且每行像素的宽度为。
37.通过步骤s1中相机采集的购物者手腕信息获取所选商品的速度矢量信息，具体方法为：采用encoder-decoder结构的dnn网络进行检测，包括：1）数据集为同样条件下货柜采集视频的模糊图像。
38.2）标签为手腕关键点。标注过程为手腕关键点对应一个单通道，在该通道中，标记关键点对应像素的位置，而后采用高斯模糊，使标记点处形成关键点热斑。
39.3）损失函数使用均方差损失函数。
40.通过网络检测得到关键点热力图后，采用soft-argmax的方式获得手腕关键点热
斑的二维坐标。对于视频中的每帧模糊图像，均可得到手腕关键点热斑的二维坐标。分别根据相邻帧图像中手腕关键点热斑的二维坐标和，获取该帧图像中手腕的移动速度为：其中，为相邻两帧图像的时间间隔。
41.根据二维坐标和获取该帧图像中手腕的移动方向：其中，为反正切函数。
42.请参阅图3，其示出了本发明一个实施例提供的一种用于货柜动态模糊商品的识别方法中偏移方向图。图中包含偏移方向30。
43.结合手腕的移动速度为和手腕的移动方向，获取每帧图像中所选商品的速度矢量信息。由于消费者拿取商品时的手部运动路径为线性移动，因此，商品与相机之间的相对运动也为线性运动，若商品与相机之间未发生相对运动，则会得到非运动模糊图像，而若商品与相机之间发生相对运动时，为了获取图像的偏移距离，应使商品的偏移方向和相机的曝光方向一致，由于相机曝光位置随着时间不断的逐行扫描向下曝光，因此选取手腕的移动方向的正弦分量为偏移方向，获取速度矢量信息在偏移方向上的速度作为所选商品的偏移速度：其中，为正弦函数。
44.请参阅图4，其示出了本发明一个实施例提供的一种用于货柜动态模糊商品的识别方法中偏移距离和行宽图。图中包括融合商品图像40和清晰商品图像50。
45.清晰商品图像的位置是融合商品图像经过曝光时间偏移后的位置。清晰商品图像和融合商品图像的行数与每行的行宽均相同。
46.根据每行像素的曝光时间和所选商品的偏移速度的乘积获取在曝光时间内商品的偏移距离：在曝光时间内，相机的曝光位置向下移动的宽度，即每行像素的行宽度为。
47.步骤s4：根据偏移距离和每行像素宽度获取在曝光时间内的行缩放因子。
48.通过偏移距离和每行像素宽度的比值获取在曝光时间内的行缩放因子：
步骤s5：以行缩放因子作为清晰商品图像中相应的行像素值的权重，根据行像素值的权重对清晰商品图像中的至少两行像素值进行融合得到融合后的行像素值，根据融合后的每行像素值得到融合商品图像。
49.根据卷帘曝光方式特性获取模糊商品图像和清晰商品图像的表示序列矩阵，以模糊商品图像为例，具体方法为：在模糊商品图像中，商品信息区域中共有行像素且每行像素点数量不同，为了得到商品的表示序列矩阵，对行像素中像素点数量少的行进行像素点补充，且补充的像素点值均为0，获取包含商品信息区域的最小外接矩形作为商品的实际区域，即商品的实际区域中共有行像素且每行像素数量均为。
50.在商品的实际区域中，第行像素的像素点按照从第1个到第个的顺序，其像素值分别为，获得第行像素的表示序列为。
51.获取行像素的表示序列组成模糊商品图像的表示序列矩阵：对于张清晰商品图像可以根据步骤s5中表示序列矩阵的获取方法同理获取个清晰商品图像的表示序列矩阵。其中，对于第张清晰商品图像的表示序列矩阵为。
52.融合商品图像的获取方法为：融合商品图像是根据相应的清晰商品图像合成的模拟的模糊图像。融合商品图像由清晰商品图像融合得到且融合商品图像的每行像素的像素值均为清晰商品图像中至少两行像素值融合所获取，即融合商品图像中的第行像素值，不仅包括清晰商品图像的第行像素值，还包括第行像素值。通过两行像素值以各自的行缩放因子作为权重进行加权求和后融合为融合商品图像的行像素值。
53.请参阅图5，其示出了本发明一个实施例提供的一种用于货柜动态模糊商品的识别方法中像素值融合图。
54.图5在图4的基础上进一步表示了清晰商品图像50融合第行和第行两行像素值得到融合商品图像40的第行像素值。
55.融合的具体方式为：对于融合商品图像中第行像素值，获取在曝光时间内商品的偏移距离作为清晰商品图像的第行像素的偏移距离，根据每行像素的宽度和偏移距离作差获取清晰商品图像的第行像素的宽度：
计算清晰商品图像的第行像素的行缩放因子：结合清晰商品图像中第行、第行的行像素值和第行、第行对应的行缩放因子获取融合商品图像的第行像素值序列：其中，为清晰商品图像的第行像素值，为第行的行像素值，为清晰商品第行的行缩放因子，为清晰商品第行的行缩放因子。
56.通过上述融合方式，根据清晰商品图像的行像素值获取融合商品图像每行的行像素值，对于张清晰商品图像对应获得张融合商品图像，即个融合商品图像的表示序列矩阵。其中，对于第张融合商品图像中第行像素的表示序列为。
57.若融合商品图像共有行像素，则融合商品图像中第行的表示序列为。
58.步骤s6：通过模糊商品图像筛选融合商品图像获取所选商品的商品类别。
59.通过筛选融合商品图像和模糊商品图像中对应行的表示序列之间的差值作为行差异值，对每行的行差异值求和获取融合商品图像和模糊商品图像之间的总差异值，将总差异值最小的融合商品图像对应的商品类别作为所选商品类别。
60.融合商品图像和模糊商品图像之间的总差异的获取方法为：获取第张融合商品图像中第行的表示序列和模糊商品图像中第行的表示序列，通过计算两个表示序列中对应位置的像素值的差值并对所有差值求和获取两张图像之间第行的行差异。计算第张融合商品图像和模糊商品图像中对应的每行的行差异值并求和获取第张融合商品图像和模糊商品图像之间的总差异：其中，为第张融合商品图像和模糊商品图像中第行的行差异值。
61.综上所述，本发明实施例通过采集模糊商品图像并分类得到所有疑似商品类别，调整疑似商品类别的姿态信息与模糊商品图像的模糊信息保持一致后获取每类疑似商品图像对应的清晰商品图像，大大减少了获取清晰商品图像的步骤。通过计算清晰商品图像的像素值和每行像素值的行缩放因子获取融合规则，将该融合规则应用到清晰商品图像上
就可以得到每类疑似商品的融合商品图像，对比该融合商品图像与实际模糊商品图像的差异并识别商品类别，提高了识别的效率和准确率。
62.需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
63.本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。
64.以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。