基于计算机视觉的商品动态识别方法、系统和商品货柜与流程

1.本发明涉及计算机技术领域，特别是涉及一种基于计算机视觉的商品动态识别方法、商品货柜、商品动态识别系统、计算机设备和可读存储设备。


背景技术：

2.相关技术中，基于图像处理的自动售卖机商品识别系统采用图形分割技术，然后先后通过商品颜色、商品形状缩小待匹配目标范围，最后经过卷积神经网络进行最后的目标匹配。
3.然而在实际操作中，由于用户用手取出商品时会对目标商品有不同程度的各种遮挡，同时，售卖机处于不同的光照环境会对分割得到的目标形状、目标颜色造成影响，从而对最后的匹配结果准确率造成影响。


技术实现要素：

4.为了解决上述问题至少之一，本发明第一个实施例提供一种基于计算机视觉且应用于服务器的商品动态识别方法，包括：
5.接收图像集并提取多张采集图像，所述图像集为商品货柜响应于用户的第一操作使用图像采集装置对预设置的采集区域开始采集的、并且响应于用户的第二操作结束采集并生成的；
6.对所述多张采集图像分别进行目标分割、图像修复和目标跟踪以确定已取商品；
7.使用预设置的商品模板集与图像修复后的目标进行匹配以识别所述已取商品并输出识别结果至管理单元，使得所述管理单元根据所述识别结果获取所述已取商品的种类和数量并输出所述已取商品的金额。
8.例如，在本技术一些实施例提供的商品动态识别方法中，所述对所述多张采集图像分别进行目标分割、图像修复和目标跟踪以确定已取商品进一步包括：
9.使用预设置的目标分割模型分别对所述多张采集图像进行目标分割并获取各采集图像的目标检测框；
10.使用预设置的分割图像修复网络分别对各采集图像的目标检测框进行图像修复并生成各采集图像的修复检测框；
11.使用预设置的目标跟踪算法对各采集图像的目标检测框或修复检测框进行跟踪并分别获取各目标检测框中目标的运动轨迹，根据所述运动轨迹确认已取商品。
12.例如，在本技术一些实施例提供的商品动态识别方法中，所述使用预设置的商品模板集与图像修复后的目标进行匹配以识别所述已取商品并输出识别结果至管理单元进一步包括：
13.对商品模板集中各商品模板进行特征提取；
14.对所述修复检测框进行特征提取；
15.遍历所述商品模板集的商品模板，与所述修复检测框进行特征匹配以识别所述已
取商品并输出识别结果至管理单元。
16.例如，在本技术一些实施例提供的商品动态识别方法中，所述使用预设置的目标分割模型分别对所述多张采集图像进行目标分割并获取各采集图像的目标检测框进一步包括：
17.使用预设置的目标检测分割模型分别对所述多张采集图像进行目标检测和目标分割并获取各采集图像的目标检测框。
18.本发明第二个实施例提供一种应用于管理单元的商品动态识别方法，包括：
19.根据识别结果获取已取商品的种类和数量并输出所述已取商品的金额，所述识别结果为服务器根据商品货柜在被打开和关闭期间采集的图像集提取的多张采集图像、对所述多张采集图像分别进行目标分割、图像修复和目标跟踪以确定已取商品、使用商品模板集与图像修复后的目标进行匹配以识别所述已取商品并输出的。
20.例如，在本技术一些实施例提供的商品动态识别方法中，所述管理单元包括商品初始信息，所述商品初始信息包括商品的种类和数量，所述商品动态识别方法还包括：
21.根据所述商品初始信息和所述已取商品的种类和数量获取库存商品的种类和数量；
22.根据所述库存商品的种类，在所述库存商品的数量小于预设置的库存阈值时发送预警信息。
23.本发明第三个实施例提供一种应用于商品货柜的商品动态识别方法，包括：包括：
24.响应于用户的第一操作打开商品货柜后使用图像采集装置对预设置的采集区域开始采集；
25.响应于用户的第二操作关闭商品货柜后结束采集并生成图像集发送至服务器，使得所述服务器根据所述图像集提取的多张采集图像、对所述多张采集图像分别进行目标分割、图像修复和目标跟踪以确定已取商品、使用商品模板集与图像修复后的目标进行匹配以识别已取商品并生成识别结果输出至管理单元，使得所述管理单元根据所述识别结果获取已取商品的种类和数量并输出所述已取商品的金额。
26.例如，在本技术一些实施例提供的商品动态识别方法中，所述图像采集装置包括设置在所述商品货柜的柜体边框上的至少两个相对设置的图像采集器，所述至少两个图像采集器的采集范围覆盖所述采集区域。
27.本发明第四个实施例提供一种应用第一个实施例或第三个实施例所述方法的商品货柜，包括：
28.摄像头，至少设置在柜体开门侧的上下方位置，摄像头视角朝向门外；
29.灯带，至少设置在柜体两侧。
30.本发明第五个实施例提供一种基于计算机视觉的商品动态识别系统，包括商品货柜、服务器和管理单元，其中，所述管理单元被配置为：
31.接收图像集并提取多张采集图像，所述图像集为商品货柜响应于用户的第一操作使用图像采集装置对预设置的采集区域开始采集的、并且响应于用户的第二操作结束采集并生成的；
32.对所述多张采集图像分别进行目标分割、图像修复和目标跟踪以确定已取商品；
33.使用预设置的商品模板集与图像修复后的目标进行匹配以识别所述已取商品并
输出识别结果至管理单元，使得所述管理单元根据所述识别结果获取所述已取商品的种类和数量并输出所述已取商品的金额。
34.本发明第六个实施例提供一种计算机可读存储介质，其上存储有计算机程序，
35.该程序被处理器执行时实现如第一个实施例所述的方法；
36.或者
37.该程序被处理器执行时实现如第二个实施例所述的方法；
38.或者
39.该程序被处理器执行时实现如第三个实施例所述的方法。
40.本发明第七个实施例提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，
41.所述处理器执行所述程序时实现如第一个实施例所述的方法；
42.或者
43.所述处理器执行所述程序时实现如第二个实施例所述的方法
44.或者
45.所述处理器执行所述程序时实现如第三个实施例所述的方法。
46.本发明的有益效果如下：
47.本发明针对目前现有的问题，制定一种基于计算机视觉的商品动态识别方法、系统和商品货柜，通过对采集图像进行目标分割和目标跟踪获取商品轨迹以确定已取商品，同时通过对采集图像进行目标分割和图像修复对被遮挡的图像进行修复，有效提高商品的识别准确性，具体的，通过目标分割模型对采集图像进行目标分割获取目标检测框，通过分割图像修复网络对目标检测框进行图像修复获取修复检测框，通过目标跟踪算法对目标检测框或修复检测框进行根据以获取各目标检测框中目标的运动轨迹，并根据目标的运动轨迹确认目标是否被取出；相比于相关技术中因使用被遮挡的目标检测框识别的商品识别率，本实施例能够有效提高商品的识别准确性，从而弥补了现有技术中存在的问题，具有实际应用价值。
附图说明
48.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
49.图1示出本发明的一个实施例所述商品动态识别方法的流程图；
50.图2示出本发明的一个实施例所述商品动态识别系统的结构示意图；
51.图3a-3b示出本发明的一个实施例所述商品货柜的示意图；
52.图4示出本发明的一个实施例所述商品动态识别方法的交互泳道图；
53.图5示出本发明的另一个实施例所述商品动态识别方法的流程图；
54.图6示出本发明的另一个实施例所述的一种计算机设备的结构示意图。
具体实施方式
55.为了更清楚地说明本发明，下面结合优选实施例和附图对本发明做进一步的说明。附图中相似的部件以相同的附图标记进行表示。本领域技术人员应当理解，下面所具体描述的内容是说明性的而非限制性的，不应以此限制本发明的保护范围。
56.在实际交互中，用户用手从售卖机拿出目标会对目标有不同程度的各种遮挡，售卖机处于不同的光照环境会对分割得到的目标形状、目标颜色造成影响，从而对最后的匹配结果准确率造成影响。
57.进一步的，因为售卖机需要进行商品计数收费，而大部分的自动售卖机同类商品堆叠在一起，有些还会自动补齐最前排的位置，因此，通过静态图片的前后对比无法进行准确计数，因为存在遮挡，静态摄像头无法看到商品后面所有商品。
58.根据上述问题，如图1所示，本发明的一个实施例提供了一种基于计算机视觉的且应用于服务器的商品动态识别方法，包括：
59.接收图像集并提取多张采集图像，所述图像集为商品货柜响应于用户的第一操作打开后使用图像采集装置对预设置的采集区域开始采集的、并且响应于用户的第二操作关闭后结束采集并生成的；
60.对所述多张采集图像分别进行目标分割、图像修复和目标跟踪以确定已取商品；
61.使用预设置的商品模板集与图像修复后的目标进行匹配以识别所述已取商品并输出识别结果至管理单元，使得所述管理单元根据所述识别结果获取所述已取商品的种类和数量并输出所述已取商品的金额。
62.在本实施例中，通过对采集图像进行目标分割和目标跟踪获取商品轨迹以确定已取商品，同时通过对采集图像进行目标分割和图像修复对被遮挡的图像进行修复，有效提高商品的识别准确性。
63.在一个具体的实施例中，如图2所示为基于计算机视觉的商品动态识别系统，包括商品货柜、服务器和管理单元。
64.其中，商品货柜为具有柜体和柜门的货柜，例如设置在非商场场所、商场或超市的某个角落，占地面积小且移动方便灵活的智能冰箱或自动贩卖机，当打开柜门时可以从柜体的货架上拿取商品，关门后根据拿取的商品进行付款，便于用户使用且有效降低人工成本。具体的，考虑到设置在柜门上需要考虑柜门的打开角度和采集范围，设置在货柜内部则需要考虑商品的形状和体积，对于不规则形状的商品往往造成更多的遮挡，因此设置在柜体边框上相比于设置在柜门和货柜内部具有更明确的采集范围和采集视角，能够准确采集货柜开门后形成的开门区域，有效避免非必要的遮挡。本实施例的商品货柜的柜体边框上设置有图像采集装置，所述图像采集装置包括至少两个相对设置的图像采集器，考虑到用户打开柜门拿取商品时对商品造成一定的遮挡，使用两个相对设置的图像采集器，例如设置在柜体上边框和下边框的两个图像采集器，例如两个摄像头，并且是摄像头视角朝向门外的摄像头进行图像采集，所述摄像头可以为普通摄像头、也可以为红外摄像头，如图3a和3b所示，在柜体100的开门侧的边框上设置两个摄像头210和220，例如设置在柜体100的开门侧的上方位置和下方位置，两个摄像头的采集范围覆盖预设置的采集区域300，从而确保最大程度的采集暴露的商品。例如当用户一只手开门同时另一只手拿取商品时，两个相对设置的摄像头210和220能够采集300区域范围内的图像，即摄像头覆盖商品货柜的开门区
域，例如图3a所示，两个摄像头210和220在柜体外1米内的成像视角范围内同时拍摄到用户在不同货层拿取商品的情况。
65.在本实施例中，图像采集装置采集商品货柜被打开后到被关闭期间的图像集，所述图像集可以为商品货柜打开期间的视频，也可以为商品货柜打开期间按照一定时间间隔采集的多张图像的集合，以表征在商品货柜打开期间的连续图像为宜。
66.值得说明的是，本技术对图像采集装置的具体位置和数量不作具体限定，例如图像采集器可以设置在柜体的两侧、或者柜体的四个角部中的对角线位置，图像采集器的数量越多则采集精度越高且成本越高，本领域技术人员应当根据实际应用需求选择适当的设置位置和数量，以实现对采集区域的图像采集为设计准则，在此不再赘述。
67.在本实施例中，考虑到货柜中均匀的光照有利于提高图像采集的准确性，在货柜中设置条状灯带，如图3a所示，当货柜高度为1米时，在货柜柜体两侧中部两侧位置安装70cm左右的长条灯带230和240。
68.其中，所述服务器用于对图像集的采集图像进行图像处理、包括目标分割、图像修复、目标跟踪和目标匹配等大计算量计算、以及多逻辑判断等操作。考虑到商品货柜的运行成本，所述服务器为远程服务器，例如云端服务器，有效降低运营成本。
69.其中，所述管理单元用于商品结算和商品管理，一方面根据用户拿取的商品的种类和数量计算付款金额，另一方面根据用户拿取的商品的种类和数量进行库存管理，当库存到达设置阈值时发送预警信息以提示管理员进行补货操作。所述管理单元可以为单独设置的后台管理系统，也可以设置在服务器上，相对于用户操作而言表征为应用软件app或应用链接。
70.本实施例中的商品货柜、服务器和管理单元通过有线或无线网络连接进行通信，例如三者组网进行通信，本技术对此不作具体限定，本领域技术人员根据实际应用需求进行设置，在此不再赘述。
71.下面，如图4所示，以用户从商品货柜中拿取商品为例对本实施例的商品动态识别方法进行描述。具体的：
72.第一步，商品货柜响应于用户的第一操作打开商品货柜后使用图像采集装置对预设置的采集区域开始采集。
73.在本实施例中，商品货柜的图像采集装置在柜门打开后启动，例如设置在柜体上边框和下边框的两个摄像头开始录制以采集预设置的1米区域范围内的图像。本实施例对柜门打开的方式不作限定，例如用户使用智能手机扫描二维码或者启动应用软件app选择商品货柜后方可打开柜门。
74.第二步，商品货柜响应于用户的第二操作关闭商品货柜后结束采集并生成图像集。
75.第三步，商品货柜将图像集发送至服务器。
76.在本实施例中，商品货柜的图像采集装置在柜门关闭后停止采集并将采集的视频上传至服务器。
77.第四步，服务器对所述多张采集图像分别进行目标分割、图像修复和目标跟踪以确定已取商品。
78.在本实施例中，服务器对多张采集图像进行图像处理，通过目标分割获取各采集
图像的目标检测框，通过图像修复将各目标检测框进行修复以补全别遮挡的目标，通过对目标检测框的目标进行目标跟踪获取各目标的行动轨迹以确定被用户取出的商品，从而进一步提高商品动态识别的准确率。具体包括：
79.首先，使用预设置的目标分割模型分别对所述多张采集图像进行目标分割并获取各采集图像的目标检测框。
80.在本实施例中，所述目标分割模型包括但不限于mask r-cnn、tensormask、shapemask、yolact等模型，通过目标分割模型对各采集图像进行目标分割以过去各采集图像的目标检测框。具体的，通过目标分割模型对商品货柜开门后形成的开门区域的图像进行目标分割，例如对采集图像中的不同部位进行目标分割，本实施例对采集图像中的涉及商品的各目标进行目标切割，例如将采集图像中的不同饮品按照露出的饮品轮廓进行分割以形成各目标检测框，一方面排除目标以外的冗余图像，另一方面区分各目标，从而便于后续操作。
81.为进一步提高识别准确率，在一个可选的实施例中，所述使用预设置的目标分割模型分别对所述多张采集图像进行目标分割并获取各采集图像的目标检测框进一步包括：使用预设置的目标检测分割模型分别对所述多张采集图像进行目标检测和目标分割并获取各采集图像的目标检测框。
82.在本实施例中，使用centermask2进行用户 商品类别的检测和分割，所述centermask为在mask r-cnn基础上使用了fcos和sag-mask，在插入fcos对象检测器后sag-mask分支可以使用空间注意力特征图来预测每个检测框上的分割蒙版，从而有助于将注意力集中在内容丰富的像素上并抑制噪声。具体的，本实施例使用centermask2能够同时输出目标检测 目标分割的结果，首先，使用centermask2对商品货柜开门后形成的开门区域的图像进行目标检测，检测图像中各目标的具体位置，其次，使用centermask2在目标检测的基础上进行目标分割，将各目标对应的部分从图像中独立分割出来，即获取目标检测框，一方面能够提高目标分割的准确性，另一方面能够根据目标检测的结果进行目标跟踪。
83.其次，使用预设置的分割图像修复网络分别对各采集图像的目标检测框进行图像修复并生成各采集图像的修复检测框。
84.在本实施例中，所述分割图像修复网络使用分割图像修复的生成式对抗(gan)网络训练，例如通过使用生成对抗网络(gan)重建具有较好感知质量的结果，通过分割图像修复网络对被遮挡的目标检测框进行修复，补全被遮挡的目标检测框并生成对应的修复检测框，通过补全的修复检测框以进一步提高商品识别的准确率。具体的，生成对抗网络(gan)对被遮挡的目标检测框进行多样化补全，所述目标检测框为经过目标分割后获得的，例如同时使用两个平行路径的概率学习框架，一方面使用重建路径网络例如利用对应的一个目标参照图像获取缺失区域的先验信息以完成重建，同时另一方面使用生成路径网络将条件先验耦合于重建路径所获得的分布，从而实现在对抗方式下完成训练。在本实施例中，例如对用户手中拿着的饮品进行修复，所述饮品被用户的手部分遮挡，利用未被遮挡的部分进行路径重建的同时通过生成路径网络实现多样化补全。本实施例通过对被遮挡的目标检测框进行修复后得到完整的目标外观，例如饮品的完整轮廓，以便于后续进行目标匹配以识别用户手中拿着的饮品并输出识别结果。
85.最后，使用预设置的目标跟踪算法对各采集图像的目标检测框或修复检测框进行
跟踪并分别获取各目标检测框中目标的运动轨迹，根据所述运动轨迹确认已取商品。
86.在本实施例中，目标跟踪算法包括但不限于meanshift、sort、基于粒子滤波的运动估计、基于轮廓的跟踪、基于ai的目标跟踪(mdnet、tcnn、siamfc、goturn等)，以使用sort算法为例进行说明，sort算法是一种简单的在线实时多目标跟踪算法，以检测作为关键组件，传播目标状态到未来帧中，将当前检测与现有目标相关联，并管理跟踪目标的生命周期。在本实施例中，考虑到目标检测框和修复检测框的坐标位置一致，使用sort算法根据目标检测的结果对所有目标检测框或修复检测框的跟踪，例如将连续若干帧都可跟踪到目标锁定该目标，并且根据该目标的运动轨迹确定目标是否最终被用户取出，例如预设置选择区域，根据目标的运动轨迹判断目标商品是否被拿出选择区域并且未再放回，从而确定被取出的商品。具体的，图像采集装置对货柜的开门区域进行图像采集，用户在打开货柜后，直接取出目标商品，通过sort算法根据目标检测检测分割模型检测的目标的具体位置，在不同采集图像中定位目标商品，并根据连续的采集通过获取目标商品的运动轨迹，再从目标的运动轨迹看该目标商品的轨迹为连续的取出轨迹，例如从货柜上直接穿过选择区域并且未再次出现，则认为用户取走该目标商品，基于sort算法对目标商品的跟踪对用户取走的目标商品数量进行计数；同理，再例如用户在打开货柜后，取出目标商品后进行查看、选择和放回，从目标的运动轨迹看该目标从货柜取出后停留，直接放回、或穿过选择区域后再次出现在选择区域并放回货柜，则认为用户未取走该目标商品，不对目标商品进行计数。进一步的，用户在打开货柜后，取出多个目标商品后再放回等；通过目标跟踪能够获得各商品的数量和运动轨迹，通过跟踪的运动轨迹能够确定被用户取出的商品的数量，例如根据目标跟踪算法能够确定用户取走了5瓶第一目标商品和3瓶第二目标商品，能够避免相关技术中对取出商品数量的误判问题，有效提高商品识别的准确率，并进一步提升用户体验。
87.第五步，使用预设置的商品模板集与图像修复后的目标进行匹配以识别所述已取商品并输出识别结果。
88.在本实施例中，使用预设置的商品模板集与修复检测框进行目标匹配的方式比较提取的图像特征的相似性，从而确定目标的类别，本实施例使用的特征提取模型包括但不限于resnet系列，mobilenet系列等。其中，商品模板集包括多种商品的模板，每个商品的模板包括多个不同视角的样本图，根据此商品的不同视角的样本图的图像特征能够准确识别待识别的商品。
89.在一个可选的实施例中，所述使用预设置的商品模板集与图像修复后的目标进行匹配以识别所述已取商品并输出识别结果至管理单元进一步包括：
90.对商品模板集中各商品模板进行特征提取；
91.对所述修复检测框进行特征提取；
92.遍历所述商品模板集的商品模板，与所述修复检测框进行特征匹配以识别所述已取商品并输出识别结果至管理单元。
93.在本实施例中，通过特征提取模型分别提取商品模板集中各商品的样本图的特征，再提取修复检测框中目标的特征，使用商品模板集中各商品的特征与修复检测框的特征进行相似度比较，当相似度超过预设置的相似阈值时，确定二者特征匹配，即识别出修复检测框中的目标。仍以上例中5瓶第一目标商品和3瓶第二目标商品进行说明，通过遍历商品模板集进行特征匹配后识别第一目标商品为可乐，第二目标商品为雪碧，从而输出识别
结果，例如用户取走的商品为5瓶可乐和3瓶雪碧。
94.第六步，将识别结果传输至管理单元。
95.第七步，管理单元根据识别结果进行商品结算。
96.在本实施例中，管理单元根据识别结果获取已取商品的种类和数量并输出所述已取商品的金额，并显示在智能手机的结算页面上，等待用户结算后完成商品购买。
97.至此，完成用户购买商品的全部过程，在此过程中，通过本实施例对商品的动态识别能够准确确定用户购买商品的种类和数量；即通过对采集图像进行目标分割和目标跟踪获取商品轨迹以确定已取商品，同时通过对采集图像进行目标分割和图像修复对被遮挡的图像进行修复，有效提高商品的识别准确性。
98.基于上述步骤，在一个可选的实施例中，所述管理单元包括商品初始信息，所述商品初始信息包括商品的种类和数量，所述商品动态识别方法还包括：根据所述商品初始信息和所述已取商品的种类和数量获取库存商品的种类和数量；根据所述库存商品的种类，在所述库存商品的数量小于预设置的库存阈值时发送预警信息。
99.在本实施例中，管理单元在具有商品结算功能的基础上，基于用户取出的商品的种类和数量，管理单元还具有库存管理的功能，例如管理单元为基于物联网平台的管理模块，物联网平台对商品货柜进行监控和管理。具体的，管理单元预存储商品货柜中各商品的初始数量，基于用户每次取出的商品的种类和数量，能够实时获取商品货柜中的库存数量。根据预设置的库存阈值，所述库存阈值可以为具体的商品数量，也可以为商品种类的数量，例如当库存阈值为可乐的数量时，基于平均每日的售出数量，当可乐的库存数量小于库存阈值时管理单元发送预警信息以提醒管理员对可乐进行补货；例如当库存阈值为碳酸饮料的数量时，基于平均每日的售出数量，当碳酸饮料的库存数量小于库存阈值时管理单元发送预警信息以提醒管理员对碳酸饮料进行补货。基于管理单元的商品结算和商品库存管理功能，有效降低商品货柜的经营成本，提升用户体验。
100.基于上述应用于服务器的商品动态识别方法，本技术发明的一个实施例还提供了一种基于计算机视觉的且应用于管理单元的商品动态识别方法，包括：
101.根据识别结果获取已取商品的种类和数量并输出所述已取商品的金额，所述识别结果为服务器根据商品货柜在被打开和关闭期间采集的图像集提取的多张采集图像、对所述多张采集图像分别进行目标分割、图像修复和目标跟踪以确定已取商品、使用商品模板集与图像修复后的目标进行匹配以识别所述已取商品并输出的。
102.本实施例通过对采集图像进行目标分割和目标跟踪获取商品轨迹以确定已取商品，同时通过对采集图像进行目标分割和图像修复对被遮挡的图像进行修复，有效提高商品的识别准确性。具体实施方式参见前述实施例，在此不再赘述。
103.在一个可选的实施例中，所述管理单元包括商品初始信息，所述商品初始信息包括商品的种类和数量，所述商品动态识别方法还包括：根据所述商品初始信息和所述已取商品的种类和数量获取库存商品的种类和数量；根据所述库存商品的种类，在所述库存商品的数量小于预设置的库存阈值时发送预警信息。
104.本实施例的管理单元在具有商品结算功能的基础上，基于用户取出的商品的种类和数量，管理单元还具有库存管理的功能，有效降低商品货柜的经营成本，提升用户体验。
105.基于上述应用于服务器的商品动态识别方法，如图5所示，本技术发明的一个实施
例还提供了一种基于计算机视觉的且应用于商品货柜的商品动态识别方法，包括：
106.响应于用户的第一操作打开商品货柜后使用图像采集装置对预设置的采集区域开始采集；
107.响应于用户的第二操作关闭商品货柜后结束采集并生成图像集发送至服务器，使得所述服务器根据所述图像集提取的多张采集图像、对所述多张采集图像分别进行目标分割、图像修复和目标跟踪以确定已取商品、使用商品模板集与图像修复后的目标进行匹配以识别已取商品并生成识别结果输出至管理单元，使得所述管理单元根据所述识别结果获取已取商品的种类和数量并输出所述已取商品的金额。
108.本实施例通过对采集图像进行目标分割和目标跟踪获取商品轨迹以确定已取商品，同时通过对采集图像进行目标分割和图像修复对被遮挡的图像进行修复，有效提高商品的识别准确性。具体实施方式参见前述实施例，在此不再赘述。
109.在一个可选的实施例中，所述图像采集装置包括设置在所述商品货柜的柜体边框上的至少两个相对设置的图像采集器，所述至少两个图像采集器的采集范围覆盖所述采集区域。
110.本实施例通过在商品货柜的柜体边框上设置图像采集装置，能够确保最大程度的采集暴露的商品，并且在图像采集装置的成像视角范围内同时拍摄到用户在不同货层拿取商品的情况，从而有利于提高商品动态识别的准确性。具体实施方式参见前述实施例，在此不再赘述。
111.与上述实施例提供的商品动态识别方法相对应，本技术的一个实施例还提供一种商品动态识别系统，由于本技术实施例提供的商品动态识别系统与上述几种实施例提供的商品动态识别方法相对应，因此在前实施方式也适用于本实施例提供的商品动态识别系统，在本实施例中不再详细描述。
112.本发明的一个实施例提供了一种应用上述商品动态识别方法的商品货柜，如图3a和3b所示，所述商品货柜包括：
113.摄像头，至少设置在柜体开门侧的上下方位置，摄像头视角朝向门外；
114.灯带，至少设置在柜体两侧。
115.在本实施例中，通过设置的灯带为货柜开门后的开门区域提供均匀的光照，并通过设置的摄像头采集开门区域的图像，有利于提高摄像头采集图像的准确性，以便于安装在商品货柜中的服务器或设置在商品货柜中的控制单元根据摄像头采集的采集图像进行目标检测、目标分割、图像修复和目标跟踪以识别目标商品，从而确认用户取出的目标商品的数量和种类，有效提高商品的识别准确性。如图2所示，本发明的一个实施例提供了一种基于计算机视觉的商品动态识别系统，包括商品货柜、服务器和管理单元，其中，所述管理单元被配置为：
116.接收图像集并提取多张采集图像，所述图像集为商品货柜响应于用户的第一操作打开后使用图像采集装置对预设置的采集区域开始采集的、并且响应于用户的第二操作关闭后结束采集并生成的；
117.对所述多张采集图像分别进行目标分割、图像修复和目标跟踪以确定已取商品；
118.使用预设置的商品模板集与图像修复后的目标进行匹配以识别所述已取商品并输出识别结果至管理单元，使得所述管理单元根据所述识别结果获取所述已取商品的种类
和数量并输出所述已取商品的金额。
119.本实施例通过对采集图像进行目标分割和目标跟踪获取商品轨迹以确定已取商品，同时通过对采集图像进行目标分割和图像修复对被遮挡的图像进行修复，有效提高商品的识别准确性。
120.本发明的另一个实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述商品动态识别方法。
121.在实际应用中，所述计算机可读存储介质可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本实施例中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
122.计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
123.计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、电线、光缆、rf等等，或者上述的任意合适的组合。
124.可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如java、smalltalk、c ，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(lan)或广域网(wan)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
125.如图6所示，本发明的另一个实施例提供的一种计算机设备的结构示意图。图6显示的计算机设备12仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
126.如图6所示，计算机设备12以通用计算设备的形式表现。计算机设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。
127.总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(isa)总线，微通道体系结构(mac)
总线，增强型isa总线、视频电子标准协会(vesa)局域总线以及外围组件互连(pci)总线。
128.计算机设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
129.系统存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(ram)30和/或高速缓存存储器32。计算机设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图6未显示，通常称为“硬盘驱动器”)。尽管图6中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如cd-rom，dvd-rom或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
130.具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如存储器28中，这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。
131.计算机设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该计算机设备12交互的设备通信，和/或与使得该计算机设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(i/o)接口22进行。并且，计算机设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(lan)，广域网(wan)和/或公共网络，例如因特网)通信。如图6所示，网络适配器20通过总线18与计算机设备12的其它模块通信。应当明白，尽管图6中未示出，可以结合计算机设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、raid系统、磁带驱动器以及数据备份存储系统等。
132.处理器单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的一种商品动态识别方法。
133.本发明针对目前现有的问题，制定一种基于计算机视觉的商品动态识别方法和识别系统，通过对采集图像进行目标分割和目标跟踪获取商品轨迹以确定已取商品，同时通过对采集图像进行目标分割和图像修复对被遮挡的图像进行修复，有效提高商品的识别准确性，具体的，通过目标分割模型对采集图像进行目标分割获取目标检测框，通过分割图像修复网络对目标检测框进行图像修复获取修复检测框，通过目标跟踪算法对目标检测框或修复检测框进行根据以获取各目标检测框中目标的运动轨迹，并根据目标的运动轨迹确认目标是否被取出；相比于相关技术中因使用被遮挡的目标检测框识别的商品识别率，本实施例能够有效提高商品的识别准确性，从而弥补了现有技术中存在的问题，具有实际应用价值。
134.显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定，对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动，这里无法对所有的实施方式予以穷举，凡是属于本发
明的技术方案所引伸出的显而易见的变化或变动仍处于本发明的保护范围之列。