智能货柜以及物品识别方法与流程

1.本说明书涉及无人零售领域，尤其涉及一种智能货柜以及物品识别方法。


背景技术：

2.现有技术中，无人智能货柜主要包括基于计算机视觉技术的智能货柜和基于重力感应技术的智能货柜。基于计算机视觉技术的智能货柜，货柜内部层板中央安装有可以拍照的广角摄像头，可以通过对柜内开门前后商品的个数和种类进行识别，来判断用户拿走的商品，并进行结算。基于计算机视觉技术的智能货柜对货柜内的物品摆放要求较高，边缘的商品容易被遮挡，计算机无法识别由于遮挡导致的看不到的商品。同时，同类物品不允许叠放，导致货柜容量限制。基于重力感应技术的智能货柜通过重力传感器测量的重力变化对柜内商品的变化进行测量。基于重力感应技术的智能货柜能够的到的信息内容较简单，对于一些用户的复杂操作，例如更换商品货道、同重不同价商品替换等无法进行准确识别。
3.因此，需要提供一种容量更高、能够对物品进行准确识别的智能货柜以及物品识别方法。


技术实现要素：

4.本说明书提供一种容量更高、能够对物品进行准确识别的智能货柜以及物品识别方法。
5.第一方面，本说明书提供一种智能货柜，包括承载装置以及物品识别系统，所述承载装置用于承载多个品类的物品，包括存储区域，所述存储区域包括第一区域、第二区域以及第三区域，所述第一区域和所述第三区域分别位于所述第二区域的两侧；所述物品识别系统包括视觉传感器、多个压力传感器以及计算装置，所述视觉传感器安装在所述第二区域的正上方，运行时采集所述第二区域的视频数据；所述多个压力传感器分布在所述承载装置的预定位置，运行时采集所述承载装置承载的压力数据；所述计算装置，与所述多个压力传感器以及所述视觉传感器通信连接，根据目标装置拿取的目标物品在所述存储区域中所处的目标区域，使用与所述目标区域对应的目标模式对所述目标物品进行识别，所述物品包括所述目标物品，所述目标模式包括第一模式和第二模式，所述第一模式与所述第一区域和所述第三区域对应，至少基于所述压力数据对所述目标物品进行识别，所述第二模式与所述第二区域对应，基于所述视频数据对所述目标物品进行识别。
6.在一些实施例中，所述承载装置还包括取货口，目标装置穿过所述取货口从所述存储区域中目标所述目标物品；以及所述视频数据还包括所述取货口的视频数据。
7.在一些实施例中，所述对所述目标物品进行识别，包括：基于所述视频数据确定所述目标区域，所述目标区域包括所述第一区域、所述第二区域以及所述第三区域中的一个；以及基于与所述目标区域对应的所述目标模式对所述目标物品进行识别，获取识别结果，所述识别结果包括所述目标物品的品类和数量。
8.在一些实施例中，所述基于所述视频数据确定所述目标区域，包括：基于所述压力
数据的变化，将所述压力数据划分为n个目标压力数据，所述n个目标压力数据对应n个子时间段，每个所述子时间段包括所述压力数据从开始变化到结束变化的时间，所述n为正整数；从所述视频数据中获取所述n个子时间段对应的n个目标视频数据；以及对每个所述子时间段执行：对当前子时间段对应的所述目标视频数据与没有所述目标装置经过所述取货口时的图像进行差分，确定所述目标装置穿过所述取货口时的取货位置，确定所述当前子时间段对应的所述目标区域为所述取货位置对应的区域。
9.在一些实施例中，所述基于与所述目标区域对应的所述目标模式对所述目标物品进行识别，获取识别结果，包括：对每个所述子时间段进行物品识别，确定所述n个子时间段对应的n个子识别结果，每个所述子识别结果包括其对应的子时间段内的所述目标物品的品类和数量，所述确定所述n个子时间段对应的n个子识别结果，包括对每个所述子时间段执行：基于所述第一模式，对所述第一区域或所述第三区域中的第一目标物品进行识别，获取所述当前子时间段内位于所述第一区域或所述第三区域的所述第一目标物品的品类和数量，所述目标物品包括所述第一目标物品；或者基于所述第二模式，对所述第二区域中的第二目标物品进行识别，获取所述当前子时间段内位于所述第二区域的所述第二目标物品的品类和数量，所述目标物品包括所述第二目标物品；以及将所述n个子识别结果进行融合，确定所述识别结果。
10.在一些实施例中，所述计算装置中预先存储有所述每个品类的物品对应的陈列位置，所述第一模式包括以下情况中的至少一种：基于所述取货位置，确定所述第一目标物品所在的位置，从而确定所述第一目标物品的品类，基于所述目标压力数据的变化以及所述第一目标物品的品类，确定所述第一目标物品的数量；基于所述目标压力数据的变化，确定所述第一目标物品所在的位置，从而确定所述第一目标物品的品类，基于所述目标压力数据的变化以及所述第一目标物品的品类，确定所述第一目标物品的数量；以及基于所述目标视频数据，确定所述目标装置拿取所述第一目标物品经过所述取货口时的图像，并对所述图像进行识别，确定所述第一目标物品的品类，基于所述目标压力数据的变化以及所述第一目标物品的品类，确定所述第一目标物品的数量。
11.在一些实施例中，所述第二模式包括对所述目标视频数据的第一帧图像和最后一帧图像进行图像识别，基于图像识别结果确定所述第二目标物品的品类和数量。
12.在一些实施例中，所述第一区域、所述第二区域以及所述第三区域之间通过隔板间隔开，所述隔板靠近所述取货口的一端包括缺口，以使所述视觉传感器可以采集到所述取货口处的视频数据。
13.在一些实施例中，所述第一区域和所述第三区域中同品类的物品能够叠放。
14.第二方面，本说明书还提供一种物品识别方法，用于本说明书第一方面所述的智能货柜，包括通过所述计算装置执行：获取所述压力数据和所述视频数据；以及对所述目标装置拿取的所述目标物品进行识别，包括：基于所述视频数据确定所述目标物品所在的所述目标区域，所述目标区域包括所述第一区域、所述第二区域以及所述第三区域中的一个；以及基于与所述目标区域对应的所述目标模式对所述目标物品进行识别，获取识别结果，所述目标模式包括第一模式和第二模式，所述第一模式与所述第一区域和所述第三区域对应，至少基于所述压力数据对所述目标物品进行识别，所述第二模式与所述第二区域对应，基于所述视频数据对所述目标物品进行识别，所述物品包括所述目标物品，所述识别结果
包括所述目标物品的品类和数量。
15.在一些实施例中，所述承载装置还包括取货口，目标装置穿过所述取货口从所述存储区域中目标所述目标物品；以及所述视频数据还包括所述取货口的视频数据。
16.在一些实施例中，所述基于所述视频数据确定所述目标区域，包括：基于所述压力数据的变化，将所述压力数据划分为n个目标压力数据，所述n个目标压力数据对应n个子时间段，每个所述子时间段包括所述压力数据从开始变化到结束变化的时间，所述n为正整数；从所述视频数据中获取所述n个子时间段对应的n个目标视频数据；以及对每个所述子时间段执行：对当前子时间段对应的所述目标视频数据与没有所述目标装置经过所述取货口时的图像进行差分，确定所述目标装置穿过所述取货口时的取货位置，确定所述当前子时间段对应的所述目标区域为所述取货位置对应的区域。
17.在一些实施例中，所述基于与所述目标区域对应的所述目标模式对所述目标物品进行识别，获取识别结果，包括：对每个所述子时间段进行物品识别，确定所述n个子时间段对应的n个子识别结果，每个所述子识别结果包括其对应的子时间段内的所述目标物品的品类和数量，所述确定所述n个子时间段对应的n个子识别结果，包括对每个所述子时间段执行：基于所述第一模式，对所述第一区域或所述第三区域中的第一目标物品进行识别，获取所述当前子时间段内位于所述第一区域或所述第三区域的所述第一目标物品的品类和数量，所述目标物品包括所述第一目标物品；或者基于所述第二模式，对所述第二区域中的第二目标物品进行识别，获取所述当前子时间段内位于所述第二区域的所述第二目标物品的品类和数量，所述目标物品包括所述第二目标物品；以及将所述n个子识别结果进行融合，确定所述识别结果。
18.在一些实施例中，所述计算装置中预先存储有所述每个品类的物品对应的陈列位置，所述第一模式包括以下情况中的至少一种：基于所述取货位置，确定所述第一目标物品所在的位置，从而确定所述第一目标物品的品类，基于所述目标压力数据的变化以及所述第一目标物品的品类，确定所述第一目标物品的数量；基于所述目标压力数据的变化，确定所述第一目标物品所在的位置，从而确定所述第一目标物品的品类，基于所述目标压力数据的变化以及所述第一目标物品的品类，确定所述第一目标物品的数量；以及基于所述目标视频数据，确定所述目标装置拿取所述第一目标物品经过所述取货口时的图像，并对所述图像进行识别，确定所述第一目标物品的品类，基于所述目标压力数据的变化以及所述第一目标物品的品类，确定所述第一目标物品的数量。
19.在一些实施例中，所述第二模式包括：对所述目标视频数据的第一帧图像和最后一帧图像进行图像识别，基于图像识别结果确定所述第二目标物品的品类和数量。
20.由以上技术方案可知，本说明书提供的智能货柜以及物品识别方法，能够将基于视觉的物品识别方法和基于重力感应的物品识别方法相结合，将智能货柜的存储区域划分为3个区域，分别为第一区域、第二区域和第三区域，并在第二区域上方设置摄像头，采集第二区域的视频数据以及取货口处的视频数据。计算装置可以根据取货口处的视频数据，计算得出用户在拿取或存入目标物品时手臂穿过取货口时的取货位置，从而判断出用户是从3个区域中的哪个区域(即目标区域)拿取或存入的目标物品，从而使用与目标区域相匹配的算法来对目标物品进行识别。当目标物品处于第二区域时，计算装置可以基于视觉技术对目标物品进行识别，当目标物品处于第一区域或第三区域时，计算装置可以基于重力感
应技术对目标物品进行识别。本说明书提供的智能货柜以及物品识别方法，将摄像头的采集范围限定在第二区域和取货口处，并位于第二区域的正中央的上方，由于对视觉范围的限制，使得第二区域中的物品距离摄像头的距离都较近，即使用户将第二区域中的物品位置互换，第二区域中的物品也不会因为摆放不当而出现相互遮挡的问题，从而提升物品识别的准确性。而第一区域和第三区域则根据重力感应技术进行物品的识别，对第一区域和第三区域中的物品摆放要求降低，同时第一区域和第三区域中的物品可以叠放，提升货柜的容量。
21.本说明书提供的智能货柜以及物品识别方法的其他功能将在以下说明中部分列出。根据描述，以下数字和示例介绍的内容将对那些本领域的普通技术人员显而易见。本说明书提供的智能货柜以及物品识别方法的创造性方面可以通过实践或使用下面详细示例中所述的方法、装置和组合得到充分解释。
附图说明
22.为了更清楚地说明本说明书实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
23.图1示出了根据本说明书的实施例提供的一种智能货柜的结构示意图；
24.图2示出了根据本说明书的实施例提供的一种承载装置的侧向结构示意图；
25.图3示出了根据本说明书的实施例提供的一种视觉传感器采集的图像示意图；
26.图4示出了根据本说明书的实施例提供的一种计算设备的结构示意图；以及
27.图5示出了根据本说明书的实施例提供的一种物品识别方法流程图。
具体实施方式
28.以下描述提供了本说明书的特定应用场景和要求，目的是使本领域技术人员能够制造和使用本说明书中的内容。对于本领域技术人员来说，对所公开的实施例的各种局部修改是显而易见的，并且在不脱离本说明书的精神和范围的情况下，可以将这里定义的一般原理应用于其他实施例和应用。因此，本说明书不限于所示的实施例，而是与权利要求一致的最宽范围。
29.这里使用的术语仅用于描述特定示例实施例的目的，而不是限制性的。比如，除非上下文另有明确说明，这里所使用的，单数形式“一”，“一个”和“该”也可以包括复数形式。当在本说明书中使用时，术语“包括”、“包含”和/或“含有”意思是指所关联的整数，步骤、操作、元素和/或组件存在，但不排除一个或多个其他特征、整数、步骤、操作、元素、组件和/或组的存在或在该系统/方法中可以添加其他特征、整数、步骤、操作、元素、组件和/或组。
30.考虑到以下描述，本说明书的这些特征和其他特征、以及结构的相关元件的操作和功能、以及部件的组合和制造的经济性可以得到明显提高。参考附图，所有这些形成本说明书的一部分。然而，应该清楚地理解，附图仅用于说明和描述的目的，并不旨在限制本说明书的范围。还应理解，附图未按比例绘制。
31.本说明书中使用的流程图示出了根据本说明书中的一些实施例的系统实现的操
作。应该清楚地理解，流程图的操作可以不按顺序实现。相反，操作可以以反转顺序或同时实现。此外，可以向流程图添加一个或多个其他操作。可以从流程图中移除一个或多个操作。
32.智慧零售就是运用互联网、物联网技术，感知消费习惯，预测消费趋势，引导生产制造，为消费者提供多样化、个性化的产品和服务。智能货柜是智能零售最典型的应用。在基于视觉识别技术的智能货柜场景中，顾客通过人脸识别或者扫码开门，从所述智能货柜中取出商品，所述智能货柜依靠摄像头获取用户开门前的图像以及用户关门后的图像，并对关门前的图像和关门后的图像进行对比，对图像进行物品自动识别并进行物品自动交易结算。但是，基于视觉识别技术的智能货柜需要对所有的物品进行视觉上的覆盖，比如被大面积遮挡或者完全遮挡的物品如果被拿走，就无法进行视觉上的识别。为了能观测到柜内全体的图像，摄像头一般是广角摄像头，导致边缘的商品所占像素数量较少，容易形成漏检，错减，影响交易的精度。而且物品拿取后要有视觉上的可辨认性。比如叠放在一起的商品，拿走上面的漏出下面的商品，在摄像头中呈现的图像几乎一样，也无法识别。因此，在基于视觉识别技术的智能货柜中，在摆放物品时要求保证全部物品都能相对于摄像头露出，还因为对堆叠方式有要求从而对商品的货容量产生限制。
33.在基于重力感应技术的智能货柜场景中，通过分离货道使得每个货道只有一种物品，每个货道用一个重力感应器来称量变化的形式，从而得到减少物品的种类和格式。基于重力感应技术的智能货柜对于物品的摆放方式以及堆叠与否没有太大的要求，因此可以做到很好的货容量。但是，基于重力感应技术的智能货柜能够的到的信息内容较简单，对于一些用户的复杂操作，例如同时拿取多件物品、更换商品货道、同重不同价商品替换等无法进行准确识别。
34.图1示出了根据本说明书的实施例提供的一种智能货柜001的结构示意图。智能货柜001可以用于陈列和存储物品。所述物品可以是零星的可以单独存在的物体。比如，一瓶饮料、一包零食，等等。如图1所示，智能货柜001可以包括至少一个承载装置200以及物品识别系统400。在一些实施例中，智能货柜001还可以包括机架600。
35.机架600可以是智能货柜001的支撑基座。
36.图2示出了根据本说明书的实施例提供的一种承载装置200的侧向结构示意图。如图2所示，承载装置200可以安装在机架600上，用于承载所述物品。所述物品可以包括多个不同的品类。每个承载装置200可以包括存储区域220。在一些实施例中，承载装置200还可以包括取货口240。
37.存储区域220可以用于存储物品。存储区域220可以包括第一区域221、第二区域222以及第三区域223。在一些实施例中，存储区域220还可以包括隔板226。其中，所述第一区域221和所述第三区域223可以分别位于所述第二区域222的两侧。在一些实施例中，第一区域221、第二区域222以及第三区域223的宽度可以是相同的。在一些实施例中，第一区域221和第三区域223的宽度可以是相同的。在一些实施例中，第一区域221和第三区域223的宽度可以大于第二区域222的宽度。在一些实施例中，第一区域221和第三区域223的宽度可以小于第二区域222的宽度。
38.所述第一区域221可以包括p个第一货道，每个所述第一货道中陈列同一个品类的物品。所述p为任意正整数。所述p个第一货道中不同的货道上可以陈列不同品类的物品，也
可以陈列同一品类的物品。在一些实施例中，第一区域221中陈列的都是同一个品类的物品。所述第一区域221中同品类的物品能够叠放。
39.所述第二区域222中可以陈列多个不同品类的物品。所述第二区域222中的物品不能够叠放。
40.所述第三区域223包括m个第三货道，每个所述第三货道中陈列同一个品类的物品。所述m为任意正整数。所述m个第三货道中不同的货道上可以陈列不同品类的物品，也可以陈列同一品类的物品。在一些实施例中，第三区域223中陈列的都是同一个品类的物品。所述第三区域223中同品类的物品能够叠放。所述第一货道、所述第二货道以及所述第三货道沿存储区域220的深度方向延伸，即沿垂直于取货口240所在的平面延伸。关于所述取货口240将在后面详细描述。
41.所述第一区域221、所述第二区域222以及所述第三区域223之间通过隔板226间隔开。隔板226可以是任意形状、任意材质的板状结构。隔板226可以包括缺口427。缺口427可以位于隔板226靠近取货口220的一端。缺口427可以位于隔板226的上方。缺口427可以是任意形式，比如，圆角、倒角、斜角，或其他任意不规则的形状。
42.取货口240用于加载和卸载所述物品。取货口240可以是存储区域220与外部连接的连接口。用户可以穿过取货口240将物品存入承载装置200的存储区域220，或从存储区域220上拿取物品。取货口240可以连接存储区域220的第一区域221、第二区域222以及第三区域223，用户通过取货口240可以到达第一区域221、第二区域222以及第三区域223种的任意一个或多个区域。取货口240可以是一个存取平面，用户通过使用目标装置002穿过取货口240所在的平面，将物品存入承载装置200的存储区域220，或从存储区域220上拿取物品。目标装置002可以是用户的人手，也可以是机械手，还可以是各种夹取设备，比如，夹具，等等。任何可以将物品加载在承载装置200上或将物品从承载装置200上卸载的设备都可以是目标装置002。为了方便描述，我们将当前时刻被加载在承载装置200上的物品或当前时刻从承载装置200上卸载的物品定义为目标物品100。物品包括目标物品100。目标装置002可以穿过所述取货口240从所述存储区域220中拿取所述目标物品100。
43.如图1所示，物品识别系统400可以包括视觉传感器420、多个压力传感器440以及计算装置460。在一些实施例中，物品识别系统400还可以包括感应传感器480。
44.视觉传感器420可以安装在所述第二区域222的正上方，即第二区域222上方的正中央，运行时采集所述第二区域222的视频数据。视觉传感器420运行时还可以采集取货口240处的视频数据。如前所述，隔板246上靠近取货口240的一端设有缺口247，以使所述视觉传感器420可以采集到所述取货口240处的视频数据。视觉传感器420可以是普通摄像头，也可以使用一个广角摄像头，例如拍摄角度是160度的广角摄像头，或者可以使用鱼眼摄像头。在一些实施例中，视觉传感器420还可以是能够测量深度信息的深度摄像头，比如双目摄像头或者结构光摄像头，等等。计算装置460可以根据所述视频数据的变化，通过图像识别确定目标装置002从第二区域222中拿走的目标物品100的品类和数量。
45.图3示出了根据本说明书的实施例提供的一种视觉传感器420采集的图像422示意图像422为鱼眼摄像头采集的图像。如图3所示，视觉传感器420可以采集第二区域222所在的区域以及取货口240所在的区域。
46.多个压力传感器440可以分布在所述承载装置200的预定位置，运行时可以采集所
述承载装置200承载的压力数据。多个压力传感器440可以测量承载装置200上的不同位置的受力分布，多个压力传感器440检测到的压力的总和为承载装置200承载的总压力。当在存储区域220上放置一个目标物品100或从存储区域220上取走一个目标物品100时，压力传感器440测量的结果会发生变化。计算装置460可以基于所述受力分布的变化确定目标装置002从存储区域220中拿取的目标物品100的位置。压力传感器440的数量可以是2个、也可以是3个、4个，甚至多个，等等。本说明书以压力传感器440的数量为2个为例进行描述。多个压力传感器440可以分布在承载装置200的多个不同的位置。计算装置460中预先存储有每个压力传感器440的位置坐标。多个压力传感器440可以分布在承载装置200的任意位置。为保证承载装置200的稳定性，我们以2个压力传感器440相对于承载装置200的重心位置沿第一区域211、第二区域222和第三区域223的排列方向对称布置为例进行描述。本领域技术人员应该明白，压力传感器440也可以分布在承载装置200的其他位置，本说明书对此不做限定。
47.计算装置460可以存储有执行本说明书描述的物品识别方法的数据或指令，并可以执行或用于执行所述数据和/或指令。计算装置460可以包括具有数据信息处理功能的硬件设备和驱动该硬件设备工作所需必要的程序。当然，计算装置460也可以仅为具有数据处理能力的硬件设备，或者，仅为运行在硬件设备中的程序。计算装置460运行时可以与视觉传感器420以及多个压力传感器440通信连接，接收视觉传感器420采集的视频数据以及压力传感器440采集的压力数据，并基于本说明书描述的物品识别方法对所述视频数据和所述压力数据进行识别。计算装置460可以根据所述视频数据确定目标装置002在拿取目标物品100时，是从第一区域221、第二区域222以及第三区域223中的哪个区域拿取的。为了方便描述，我们将目标物品100所处的区域定义为目标区域。所述目标区域包括所述第一区域221、所述第二区域222以及所述第三区域223中的一个。计算装置可以根据目标装置002拿取的目标物品100在所述存储区域220中所处的目标区域，使用与所述目标区域对应的目标模式对所述目标物品100进行识别，以确定目标装置002从承载装置200上取走的目标物品100的品类和数量，并基于所述品类和数量进行结算。当所述目标区域为第二区域222时，计算装置460可以基于视觉技术对目标物品100进行识别；当所述目标区域为第一区域221或第三区域223时，计算装置460可以基于重力感应技术对目标物品100进行识别。
48.综上所述的智能货柜001中，存储区域220中的第二区域222中可以基于视觉识别技术进行物品识别和监测，而第一区域221和第三区域223中可以基于重力感应技术进行物品识别和监测，在提高物品识别精度的同时，还可以提高智能货柜001的容量。
49.在一些实施例中，计算装置460中可以预先存储有存储区域220中存储的每个物品的属性信息。所述属性信息可以是物品的品类信息，比如，美年达可乐或者雪碧，等等，也可以是物品的重量信息，比如，100g、120g，等等，也可以是物品的体积信息，比如，300ml、500ml，等等，还可以是物品的价值信息，比如，4.5元、5元、10元，等等。所述属性信息还可以是物品的数量信息，比如，美年达可乐2罐、雪碧3罐，等等。所述属性信息还可以是物品的库存信息、产地信息、优惠信息，甚至可以是物品的成分信息，等等。
50.在一些实施例中，计算装置460中还可以预先存储有物品的陈列规则。所述陈列规则可以是存储区域220中的多个货道中每个货道对应的位置坐标与其陈列的物品的属性间的映射关系，也就是所述多个品类中的每个品类的物品对应的陈列位置。计算装置460可以根据目标物品100的位置以及所述陈列规则获取目标物品100的属性信息(包括所述品类信
息)，进而可以快速准确地统计出一段时间内，承载装置200上变化的物品的属性信息，从而提升监测的准确度。
51.所述通信连接是指能够直接地或者间接地接收信息的任何形式的连接。在一些实施例中，计算装置460可以同视觉传感器420以及压力传感器440通过无线通信连接来彼此传递数据；在一些实施例中，计算装置460也可以同视觉传感器420以及压力传感器440通过电线直接连接来彼此传递数据；在一些实施例中，计算装置460也可以通过电线同其他电路直接连接来建立同视觉传感器420以及压力传感器440的间接连接，从而实现彼此传递数据。所述无线通信连接可以是网络连接，蓝牙连接，nfc连接，等等。
52.如图1所示，在一些实施例中，计算装置460可以包括客户端462。在一些实施例中，计算装置460也可以包括服务器464。客户端462可以是本地设备，可以安装在机架600上或机架600内部，或者安装在机架600附近。客户端462可以与视觉传感器420和压力传感器440直接通信连接。服务器464可以是云端设备，可以通过网络与客户端462进行信息或数据的交换。例如，服务器464可以通过网络从客户端462获取所述视频数据和所述压力数据。服务器464可以通过客户端462与视觉传感器420和压力传感器440间接通信连接。计算装置460在执行本说明书描述的物品识别方法时，可以在客户端462中进行，也可以在服务器464中进行，也可以部分在客户端462中进行，部分在服务器464中进行。在一些实施例中，客户端462可以包括移动设备、平板电脑、笔记本电脑，或其任意组合。在一些实施例中，客户端462可以是具有定位技术的设备，用于定位客户端462的位置。
53.感应传感器480可以设置在智能货柜001的柜门处，用于感应所述柜门的状态，比如，打开状态还是闭合状态。感应传感器480可以与物品识别系统400中的计算装置460通信连接，并将感应数据发送给计算装置460。计算装置460可以根据所述感应数据判断当前时刻柜门是打开状态还是闭合状态。感应传感器480可以是霍尔传感器，也可以是红外传感器，还可以是超声波传感器、雷达传感器，等等。
54.图4示出了根据本说明书的实施例提供的一种计算设备300的结构示意图。在一些实施例中，计算设备300所示的结构适用于客户端462。在一些实施例中，计算设备300所示的结构也适用于服务器464。在一些实施例中，计算装置460执行所述物品识别方法的数据或指令可以在计算设备300上实现。所述物品识别方法在本说明书中的其他部分介绍。
55.如图4所示，计算设备300可以包括至少一个存储介质330和至少一个处理器320。在一些实施例中，计算设备300还可以包括通信端口350和内部通信总线310。在一些实施例中，计算设备300还可以包括i/o组件360。
56.内部通信总线310可以连接不同的系统组件，实现各组件间的数据通信，包括存储介质330、处理器320、通信端口350以及i/o组件360。例如，处理器320可以通过内部通信总线310将数据发送到存储介质330或i/o组件360等其它硬件中。
57.i/o组件360可以用于输入或输出信号、数据或信息。i/o组件360支持计算设备300和其他组件之间的输入/输出。在一些实施例中，i/o组件360可以包括输入装置和输出装置。示例性输入装置可以包括摄像头、键盘、鼠标、显示屏和麦克风等，或其任意组合。示例性输出装置可以包括显示装置、语音播放装置(比如，扬声器等等)、打印机、投影仪等或其任意组合。示例性显示装置可以包括液晶显示器(lcd)、基于发光二极管(led)的显示器、平板显示器、曲面显示器、电视设备、阴极射线管(crt)等或其任意组合。
58.通信端口350可以连接到网络以便计算设备300同外界的数据通信。所述连接可以是有线连接、无线连接或两者的组合。有线连接可以包括电缆、光缆或电话线等或其任意组合。无线连接可以包括蓝牙、wi
‑
fi、wimax、wlan、zigbee、移动网络(例如，3g、4g或5g等)等或其任意组合。在一些实施例中，通信端口350可以是标准化端口，如rs232、rs485等。在一些实施例中，通信端口350可以是专门设计的端口。
59.存储介质330可以包括数据存储装置。所述数据存储装置可以是非暂时性存储介质，也可以是暂时性存储介质。比如，所述数据存储装置可以包括磁盘332、只读存储介质(rom)334或随机存取存储介质(ram)336中的一种或多种。存储介质330还包括存储在所述数据存储装置中的一个指令集。所述至少一个指令集用于所述物品识别。所述指令是计算机程序代码，所述计算机程序代码可以包括执行本说明书提供的物品识别方法的程序、例程、对象、组件、数据结构、过程、模块等等。
60.至少一个处理器320可以同至少一个存储介质330以及通信端口350通过内部通信总线310通信连接。至少一个处理器320用以执行上述至少一个指令集。当计算设备300运行时，至少一个处理器320读取所述至少一个指令集，并且根据所述至少一个指令集的指示执行本说明书提供的物品识别方法。当所述计算装置460运行时，至少一个处理器320读取所述至少一个指令集，并且根据所述至少一个指令集的指示执行本说明书提供的物品识别方法。处理器320可以执行物品识别方法包含的所有步骤。处理器320可以是一个或多个处理器的形式，仅仅为了说明问题，在本说明书中计算设备300中仅描述了一个处理器320。然而，应当注意，本说明书中计算设备300还可以包括多个处理器，因此，本说明书中披露的操作和/或方法步骤可以如本说明书所述的由一个处理器执行，也可以由多个处理器联合执行。例如，如果在本说明书中计算设备300的处理器320执行步骤a和步骤b，则应该理解，步骤a和步骤b也可以由两个不同处理器320联合或分开执行(例如，第一处理器执行步骤a，第二处理器执行步骤b，或者第一和第二处理器共同执行步骤a和b)。
61.图5示出了根据本说明书的实施例提供的一种物品识别方法p100的流程图。如前所述，计算装置460可以执行本说明书所述的物品识别方法p100。具体地，当计算装置460在计算设备300上运行时，处理器320可以读取存储在其本地存储介质中的指令集，然后根据所述指令集的规定，执行本说明书所述的物品识别方法p100。所述方法p100可以包括：
62.s120：获取所述压力数据和所述视频数据。
63.步骤s120可以由客户端462执行。客户端462可以基于所述通信连接从视觉传感器420以及压力传感器440中获取所述压力数据和所述视频数据。客户端462可以实时获取所述压力数据和所述视频数据并保存，也可以定时获取所述压力数据和所述视频数据并保存。具体地，所述压力数据和所述视频数据对应的时间段为所述智能货柜001的柜门从打开到关闭的时间。客户端462可以基于与感应传感器480的通信连接，获取感应传感器480的感应数据，从而获取智能货柜001的柜门的状态。客户端462可以根据感应传感器480的感应数据确定所述柜门的打开时刻和关闭时刻，从而确定从所述打开时刻到所述关闭时刻之间对应的所述视频数据和所述压力数据。需要说明的时，所述视频数据和所述压力数据包括所述打开时刻前和所述关闭时刻后的数据，比如，所述视频数据中包括所述打开时刻之前的一帧图像数据和关闭时刻之后的一帧图像数据，所述压力数据中包括所述打开时刻之前的一次压力数据和关闭时刻之后的一次压力数据。
64.在一些实施例中，计算装置460还可以对所述压力数据进行数据预处理，比如，对所述压力数据做平滑等滤波处理，得到相对稳定的读数结果。
65.s140：对所述目标装置002拿取的目标物品100进行识别。
66.步骤s140可以在客户端462中执行，也可以在服务器464中执行，也可以部分在客户端462中执行，部分在服务器464中执行。如前所述，计算装置460可以根据所述目标物品100所处的目标区域，选择与目标区域相对应的目标模式进行物品识别。目标物品100所处的区域不同，对目标物品100进行物品识别时所使用的方法也是不同的。当所述目标区域为第二区域222时，计算装置460可以基于视觉技术对目标物品100进行识别；当所述目标区域为第一区域221或第三区域223时，计算装置460可以基于重力感应技术对目标物品100进行识别。因此，计算装置460需先判断目标物品100所处的目标区域。具体地，步骤s140可以包括：
67.s142：基于所述视频数据确定目标物品100所在的所述目标区域。
68.步骤s142可以在客户端462中执行，也可以在服务器464中执行，也可以部分在客户端462中执行，部分在服务器464中执行。如前所述，所述目标区域包括所述第一区域221、所述第二区域222以及所述第三区域223中的一个。为了方便描述，我们将处于第二区域222中的目标物品100定义为第二目标物品120。我们将处于第一区域221或第三区域223中的目标物品100定义为第一目标物品110。目标物品100可以包括第一目标物品110和第二目标物品120。步骤s142可以包括：
69.s142
‑
2：基于所述压力数据的变化，将所述压力数据划分为n个目标压力数据。
70.步骤s142
‑
2可以在客户端462中执行，也可以在服务器464中执行，也可以部分在客户端462中执行，部分在服务器464中执行。如前所述，所述压力数据和所述视频数据可以是智能货柜001的柜门从打开到关闭的时间段内的数据。在此时间段内，用户可能通过目标装置002多次从存储区域220中拿取目标物品100，也可能只从存储区域220中拿取过一次目标物品100，也可能一次都没有。当目标装置002从第二区域222中拿取第二目标物品120时，计算装置460可以基于智能货柜001开门前的图像和关门后的图像，对图像进行图像识别，以识别出目标装置002从第二区域222中拿取的第二目标物品120；当目标装置002从第一区域221或第三区域223中拿取第一目标物品110时，计算装置460可以根据目标装置002每一次拿取物品时压力传感器440所测量的压力数据的变化，确定每一次拿取的第一目标物品110所处的位置，从而确定第一目标物品110的品类和数量。因此，为了对目标物品100进行物品识别，计算装置460需从所述压力数据和所述视频数据中获取目标装置002从存储区域220中拿取目标物品100的次数，以及每一次拿取目标物品100时对应的压力数据和视频数据。
71.具体地，每次目标装置002在从存储区域220中拿取目标物品100时，由于存储区域220中的物品发生变化，压力传感器440测得的压力数据都会发生变化。计算装置460可以根据智能货柜001的柜门从打开到关闭的时间段内的所述压力数据的变化规律，将所述压力数据划分为n个目标压力数据。所述n个目标压力数据对应n个子时间段。每个所述子时间段可以包括所述压力数据从开始变化到结束变化的时间。所述压力数据结束变化的时刻可以是所述压力数据下一次开始变化的时刻之前的时刻。所述压力数据结束变化的时刻也可以是所述压力数据在预设时间内没有发生变化，或在所述预设时间内的变化的幅度小于阈
值。所述预设时间可以是任意时长，比如，0.1s，0.5s，1s，甚至更长，等等。所述阈值可以是外界环境干扰引起的压力传感器的数据变化。所述阈值可以通过实验获取，也可以通过机器学习的方式获取。每个子时间段对应一次目标装置002从存储区域220中拿取目标物品100。所述n个子时间段对应目标装置002从存储区域220中拿取了n次目标物品100。其中，所述n为正整数。当用户只打开柜门，没有拿取任何物品时，此时n也可以为0。
72.s142
‑
4：从所述视频数据中获取所述n个子时间段对应的n个目标视频数据。
73.步骤s142
‑
4可以在客户端462中执行，也可以在服务器464中执行，也可以部分在客户端462中执行，部分在服务器464中执行。所述n个子时间段与所述n个目标压力数据一一对应。所述n个目标压力数据对应的是目标装置002从存储区域220中拿取n次目标物品100时，其每次拿取目标物品100时对应的压力数据的变化。所述n个子时间与所述n个目标视频数据一一对应。所述n个目标视频数据对应的是目标装置002从存储区域220中拿取n次目标物品100时，其每次拿取目标物品100时对应的视频数据的变化。其中，每个所述目标视频数据可以包括其对应的所述子时间段内的图像帧。
74.步骤s142还可以包括：
75.s142
‑
6：对每个所述子时间段执行：对当前子时间段对应的所述目标视频数据与没有所述目标装置002经过所述取货口240时的图像进行差分，确定所述目标装置002穿过所述取货口240时的取货位置，基于所述取货位置，确定所述当前子时间段对应的所述目标区域为所述取货位置对应的区域。
76.步骤s142
‑
6可以在客户端462中执行，也可以在服务器464中执行，也可以部分在客户端462中执行，部分在服务器464中执行。如前所述，所述视频数据中可以包括取货口240处的视频数据。目标装置002在拿取目标物品100时必须穿过取货口240。计算装置460可以根据目标装置002穿过取货口240时的位置，来确定目标装置002的取货位置。如图2所示，取货口240与存储区域220连接。计算装置460可以根据所述取货位置确定目标物品100所在的目标区域。当取货位置对应的是第一区域221或第三区域223前方的区域时，则所述目标区域为第一区域221或第三区域223。当取货位置对应的是第二区域222前方的区域时，则所述目标区域为第二区域222。
77.在一些实施例中，所述取货位置可以是目标装置002相对于隔板226的位置，比如，目标装置002是位于两个隔板226的左边，还是两个隔板226的中间，还是两个隔板226的右边，从而确定所述取货位置对应的区域。在一些实施例中，所述取货位置可以是目标装置002经过取货口240时的位置坐标。具体地，计算装置460可以基于所述目标视频数据识别出目标装置002，并以柜门或取货口240(比如取货口240的边框)为基准，获取目标装置002相对于所述基准的位置，从而确定目标装置002经过取货口240时的位置坐标。其中，计算装置460中可以预先存储有所述基准的位置坐标。
78.具体地，计算装置460可以通过深度学习技术识别目标装置002拿取目标物品100的动作，并根据拿取动作对所述目标视频数据中的图像进行识别。由于取货口240是连接存储区域220的货物的出入口，因此，取货口240处没有物品遮挡，计算装置460可以根据取货口240处的图像数据进行识别，避免因为物品遮挡造成的漏检、错检等问题，大大降低了识别出错的概率，提高识别的准确率。
79.以目标装置002为人手为例，人有两只手。在一些实施例中，当两只手同时伸入存
储区域220时，在当前子时间段对应的目标视频数据中，计算装置460可能识别出有两个取货位置。当所述两个取货位置种有一个在第二区域222种，另一个在第一区域221或第三区域223中时，计算装置460可以根据所述目标压力数据的变化，基于力矩平衡原理，确定当前子时间段中目标装置002拿取的目标物品100位于哪个区域。具体地，计算装置460可以根据2个压力传感器440分别测得的压力数据的变化，确定目标物品100的重量，根据两个压力传感器440的位置坐标以及各自压力数据的变化，基于力矩平衡原理，确定目标物品100的位置坐标，从而确定所述目标区域。
80.步骤s140还可以包括：
81.s144：基于与所述目标区域对应的所述目标模式对目标物品100进行识别，获取识别结果。
82.步骤s144可以在客户端462中执行，也可以在服务器464中执行，也可以部分在客户端462中执行，部分在服务器464中执行。所述识别结果可以包括目标物品100的品类和数量。所述目标模式可以包括第一模式和第二模式。其中，所述第一模式与所述第一区域221和所述第三区域223对应。所述第一模式可以包括基于重力感应技术对目标物品100进行识别，比如，至少基于所述压力数据对目标物品100进行识别。所述第二模式与所述第二区域222对应。所述第二模式可以包括基于视觉技术对目标物品100进行识别，比如基于所述视频数据对目标物品100进行识别。
83.目标装置002在n次从存储区域220中拿取目标物品100的过程中，可能从第二区域222中拿取了第二目标物品120，也可能从第一区域221或第三区域223中拿取了第一目标物品110。计算装置460需分别对第一目标物品110和第二目标物品120进行识别，并将识别的结果进行融合，以获取所述的识别结果。
84.具体地，步骤s144可以包括：
85.s144
‑
2：对每个所述子时间段进行物品识别，确定所述n个子时间段对应的n个子识别结果。
86.每个所述子识别结果可以包括其对应的子时间段内的所述目标物品100的品类和数量。步骤s144
‑
2可以在客户端462中执行，也可以在服务器464中执行，也可以部分在客户端462中执行，部分在服务器464中执行。由于压力传感器440监测压力数据的频率较高，用户很难做到同时从两个不同位置拿取目标物品100。因此，我们以每一次子时间段中，目标装置002只从同一个位置拿取了目标物品100为例进行描述。因此，对于每个子时间段，所述目标区域为第一区域221、第二区域222和第三区域223中的一个。
87.具体地，步骤s144
‑
2可以包括对每个所述子时间段执行：
88.s144
‑
22：基于所述第一模式，对所述第一区域221或所述第三区域223中的第一目标物品110进行识别，获取所述当前子时间段内位于所述第一区域221或所述第三区域223的所述第一目标物品110的品类和数量；或者
89.s144
‑
24：基于所述第二模式，对所述第二区域222中的第二目标物品120进行识别，获取所述当前子时间段内位于所述第二区域222的所述第二目标物品120的品类和数量。
90.如前所述，步骤s142中，计算装置460可以确定目标装置002在n次从存储区域220中拿取目标物品100时，分别对应的n个目标区域。当所述目标区域为第一区域221或第三区
域223时，计算装置460可以基于重力感应技术对第一目标物品110进行识别。如前所述，计算装置460中预先存储有物品的陈列规则。所述陈列规则可以是存储区域220中的多个货道中每个货道对应的位置坐标与其陈列的物品的属性(包括所述品类信息)间的映射关系，也就是所述多个品类中的每个品类的物品对应的陈列位置。
91.在一些实施例中，所述第一模式可以包括基于所述目标压力数据的变化，确定所述第一目标物品110所在的位置，从而确定所述第一目标物品110的品类，基于所述目标压力数据的变化以及所述第一目标物品110的品类，确定所述第一目标物品110的数量。当目标装置002只从第一区域221或第三区域223中的一个位置拿取第一目标物品110，计算装置460可以基于力矩平衡原理确定第一目标物品110的位置。具体地，计算装置460可以根据2个压力传感器440分别测得的压力数据的变化，确定第一目标物品110的重量，根据两个压力传感器440的位置坐标以及各自压力数据的变化，基于力矩平衡原理，确定第一目标物品110的位置。计算装置460可以根据所述第一目标物品110所在的位置以及物品的陈列规则，确定第一目标物品110的品类，从而确定第一目标物品110对应的重量；计算装置460还可以根据所述目标压力数据的变化，确定第一目标物品110的总重量，从而确定第一目标物品110的数量。
92.在一些实施例中，所述第一模式可以包括基于所述取货位置，确定所述第一目标物品110所在的位置，从而确定所述第一目标物品110的品类，基于所述目标压力数据的变化以及所述第一目标物品110的品类，确定所述第一目标物品110的数量。如前所述，计算装置460可以将所述目标视频数据与没有目标装置002经过取货口240时的图像帧进行对比，从而确定目标装置002经过取货口240时的取货位置，计算装置460可以将所述取货位置对应的货道作为第一目标物品110所在的位置。当目标装置002拿取第一目标物品110时，计算装置460可以根据第一目标物品110所在的位置以及物品的陈列规则，确定第一目标物品110的品类，从而确定第一目标物品110对应的重量；计算装置460还可以根据所述目标压力数据的变化，确定第一目标物品110的总重量，从而根据第一目标物品110的总重量和第一目标物品110单个的重量，确定第一目标物品110的数量。
93.以目标装置002为人手为例，人有两只手。在一些实施例中，当两只手同时伸入存储区域220时，在当前子时间段对应的目标视频数据中，计算装置460可能识别出有两个取货位置。计算装置460可以根据所述两个取货位置以及陈列规则，分别识别出所述两个取货位置对应的物品的品类，从而确定两个取货位置对应的物品的重量；计算装置460还可以根据所述目标压力数据的变化，确定出当前子时间段中第一目标物品110的总重量；计算装置460可以根据当前子时间段中第一目标物品110的总重量以及两个取货位置对应的物品的重量，确定出目标装置002是从这两个取货位置中的哪个位置拿取的第一目标物品110，从而确定第一目标物品110的品类和数量。
94.在一些实施例中，所述第一模式还可以包括基于所述目标视频数据，确定所述目标装置002拿取所述第一目标物品110时经过所述取货口240时的图像，并对所述图像进行识别，确定所述第一目标物品110的品类，基于所述目标压力数据的变化以及所述第一目标物品110的品类，确定所述第一目标物品110的数量。在一些实施例中，计算装置460还可以对目标装置002拿取第一目标物品110的过程中，第一目标物品110在穿过取货口240时的图像进行识别，以识别出第一目标物品110的品类，并根据目标压力数据的变化确定第一目标
物品110的总重量，并基于第一目标物品110的总重量以及第一目标物品110的品类，确定第一目标物品110的数量。
95.在一些实施例中，计算装置460还可以将上述三种第一模式中的任意两种或三种相结合，对识别出的第一目标物品110的品类和数量进行校核，以提高物品识别的精确度。比如，以前一种第一模式识别第一目标物品110的品类和数量，以后一种第一模式对第一目标物品110的品类和数量进行校核，或者，以后一种第一模式识别第一目标物品110的品类和数量，以前一种第一模式对第一目标物品110的品类和数量进行校核。
96.当所述目标区域为第二区域222时，计算装置460可以基于视觉识别技术对第二目标物品120进行识别。在一些实施例中，所述第二模式可以包括对所述目标视频数据的第一帧图像和最后一帧图像进行图像识别，基于图像识别结果确定所述第二目标物品120的品类和数量。具体地，计算装置460可以对所述目标视频数据的第一帧图像和最后一帧图像分别进行图像识别，识别出两幅图像帧中的所有物品及其所在的位置坐标，并对两幅图像帧的图像识别结果进行对比，以确定目标装置002从第二区域222中拿取的第二目标物品120。
97.在一些实施例中，所述第二模式还可以包括根据所述目标压力数据的变化，基于力矩平衡原理确定第二目标物品120的位置，从而确定第二目标物品120的品类和数量，以对基于目标视频数据确定的第二目标物品120的品类和数量进行校核，以提升物品识别的精度。
98.具体地，步骤s144还可以包括：
99.s144
‑
4：将所述n个子识别结果进行融合，确定所述识别结果。
100.所述n个子识别结果对应的分别是在目标装置002每次从存储区域220中拿取的目标物品100的品类和数量。将所述n次子识别结果融合，可以获取智能货柜001从开门到关门期间，目标装置002从存储区域220中拿取的所有目标物品100的品类和数量，以帮助计算装置460根据目标物品100的品类和数量进行结算。所述融合可以是将所述n次子识别结果累积相加。
101.综上所述，本说明书提供的物品识别方法p100和智能货柜001，将视觉传感器420的采集范围限定在存储区域220的中间区域第二区域222的正中央的上方，用于采集第二区域222以及取货口240处的视频数据。由于视觉传感器420的采集范围时第二区域222，而不是整个存储区域220，其视觉范围较小，使得第二区域222中的物品距离视觉传感器420的距离都较近，即使用户将第二区域222中的物品位置互换，第二区域222中的物品也不会因为摆放不当而出现相互遮挡的问题，从而提升物品识别的准确性。也就是说，视觉传感器420所采集的第二区域222的视频数据中，不会出现物品互相遮挡导致的无法识别的问题，在降低对物品摆放要求的同时，还提升了对第二区域222中的物品的识别精度，避免因为用户将物品的位置互换导致遮挡而无法识别的问题的出现。当用户从第二区域222中拿取目标物品100(即第二目标物品120)时，计算装置460可以根据视频数据基于视觉识别技术分别对用户拿取前和拿取后的第二区域222的图像进行图像识别，以确定用户从第二区域222中拿取的目标物品100的品类和数量。同时，智能货柜001中还在不同位置设置了多个压力传感器440，计算装置460可以根据压力传感器440采集的压力分布数据对第二区域222中的目标物品100进行核对，以对视觉识别技术识别出的目标物品100进行核对，进一步提升物品识别的精度。而对于存储区域220中的第一区域221和第三区域223，计算装置460可以根据重
力感应技术进行物品的识别，即根据压力传感器440采集的压力分布数据，基于力矩平衡原理确定用户从第一区域221或第三区域223中拿取的目标物品100(即第一目标物品110)的位置，从而确定目标物品100的品类和数量。同时，计算装置460还可以根据取货口240处的视频数据，对基于重力感应技术识别出的目标物品100进行核对，以进一步提升物品识别精度。本说明书提供的智能货柜001和物品识别方法p100，对第一区域221和第三区域223中的物品摆放要求降低，同时第一区域221和第三区域223中的物品可以叠放，可以提升智能货柜001的容量。
102.本说明书另一方面提供一种非暂时性存储介质，存储有至少一组物品识别的可执行指令。当所述可执行指令被处理器执行时，所述可执行指令指导所述处理器实施本说明书所述的物品识别方法p100的步骤。在一些可能的实施方式中，本说明书的各个方面还可以实现为一种程序产品的形式，其包括程序代码。当所述程序产品在计算设备300上运行时，所述程序代码用于使计算设备300执行本说明书描述的物品识别的步骤。用于实现上述方法的程序产品可以采用便携式紧凑盘只读存储器(cd
‑
rom)包括程序代码，并可以在计算设备300上运行。然而，本说明书的程序产品不限于此，在本说明书中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统(例如处理器320)使用或者与其结合使用。所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑盘只读存储器(cd
‑
rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。所述计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、rf等等，或者上述的任意合适的组合。可以以一种或多种程序设计语言的任意组合来编写用于执行本说明书操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如java、c 等，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在计算设备300上执行、部分地在计算设备300上执行、作为一个独立的软件包执行、部分在计算设备300上部分在远程计算设备上执行、或者完全在远程计算设备上执行。
103.上述对本说明书特定实施例进行了描述。其他实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者是可能有利的。
104.综上所述，在阅读本详细公开内容之后，本领域技术人员可以明白，前述详细公开内容可以仅以示例的方式呈现，并且可以不是限制性的。尽管这里没有明确说明，本领域技
术人员可以理解本说明书需求囊括对实施例的各种合理改变，改进和修改。这些改变，改进和修改旨在由本说明书提出，并且在本说明书的示例性实施例的精神和范围内。
105.此外，本说明书中的某些术语已被用于描述本说明书的实施例。例如，“一个实施例”，“实施例”和/或“一些实施例”意味着结合该实施例描述的特定特征，结构或特性可以包括在本说明书的至少一个实施例中。因此，可以强调并且应当理解，在本说明书的各个部分中对“实施例”或“一个实施例”或“替代实施例”的两个或更多个引用不一定都指代相同的实施例。此外，特定特征，结构或特性可以在本说明书的一个或多个实施例中适当地组合。
106.应当理解，在本说明书的实施例的前述描述中，为了帮助理解一个特征，出于简化本说明书的目的，本说明书将各种特征组合在单个实施例、附图或其描述中。然而，这并不是说这些特征的组合是必须的，本领域技术人员在阅读本说明书的时候完全有可能将其中一部分设备标注出来作为单独的实施例来理解。也就是说，本说明书中的实施例也可以理解为多个次级实施例的整合。而每个次级实施例的内容在于少于单个前述公开实施例的所有特征的时候也是成立的。
107.本文引用的每个专利，专利申请，专利申请的出版物和其他材料，例如文章，书籍，说明书，出版物，文件，物品等，可以通过引用结合于此。用于所有目的的全部内容，除了与其相关的任何起诉文件历史，可能与本文件不一致或相冲突的任何相同的，或者任何可能对权利要求的最宽范围具有限制性影响的任何相同的起诉文件历史。现在或以后与本文件相关联。举例来说，如果在与任何所包含的材料相关联的术语的描述、定义和/或使用与本文档相关的术语、描述、定义和/或之间存在任何不一致或冲突时，使用本文件中的术语为准。
108.最后，应理解，本文公开的申请的实施方案是对本说明书的实施方案的原理的说明。其他修改后的实施例也在本说明书的范围内。因此，本说明书披露的实施例仅仅作为示例而非限制。本领域技术人员可以根据本说明书中的实施例采取替代配置来实现本说明书中的申请。因此，本说明书的实施例不限于申请中被精确地描述过的实施例。