商品识别方法、装置及存储介质与流程

1.本发明涉及图像处理技术领域，具体提供一种商品识别方法、装置及存储介质。


背景技术：

2.随着人工智能技术的发展，商品检测和识别技术在智能零售中的应用越来越广泛。目前实现商品检测和识别的解决方案主要分为四类：rfid、称重、静态视觉以及动态视觉识别方法。但是，这几种方法均存在一定的缺陷，rfid的缺点是需要大量的人工，并且在部分场景容易脱落。称重的方法对于相同重量的物体无法进行类别判别。静态视觉要求物体摆放规整，不能叠放，运营成本较高。动态视觉对于小物体容易被遮挡的情况难以根治，对运营的产品大小有一定要求。同时，当这四种方法应用在自助售货柜以对商品检测和识别时，无法实现对于不同类别商品混合放置在一起的情形，而售卖产品单一的情况难以满足用户需求。
3.相应地，本领域需要一种新的商品识别方案来解决上述问题。


技术实现要素：

4.为了克服上述缺陷，提出了本发明，以提供解决或至少部分地解决现有技术无法实现对于不同类别商品混合放置在一起的识别问题。本发明提供了一种商品识别方法、装置及存储介质。
5.在第一方面，本发明提供一种商品识别方法，包括下述步骤：获取商品的视频信息和重量信息；基于所述视频信息确定每个商品的可见光图像；基于所述每个商品的可见光图像和重量信息对所述商品进行识别。
6.在一个实施方式中，基于所述视频信息确定每个商品的可见光图像包括：基于所述视频信息确定所述视频信息中每一视频帧图像的商品位置；基于所述商品位置从所述视频帧图像中获取每个商品的商品单图；调整所述商品单图的尺寸至预设尺寸，得到所述每个商品的可见光图像。
7.在一个实施方式中，所述识别包括识别商品数量和商品类型；所述重量信息为每个商品对应的重量信息；基于所述每个商品的可见光图像和重量信息对所述商品进行识别包括：将所述每个商品的可见光图像和重量信息输入检测网络模型，得到每个商品的商品数量；将所述每个商品的可见光图像和重量信息输入特征识别深度学习模型，得到所述每个商品的商品类型；所述检测网络模型为faster-rcnn网络；所述特征识别深度学习模型为vgg网络或轻量级网络。
8.在一个实施方式中，还包括：在获取商品的视频信息和重量信息之后，对所述视频信息中的视频帧图像进行对齐操作，得到对齐图像；基于所述对齐图像确定每个商品的可见光图像；基于所述每个商品的可见光图像和重量信息对所述商品进行识别。
9.在一个实施方式中，对所述视频信息中的视频帧图像进行对齐操作，得到对齐图像包括：从所述视频帧图像中筛选出参考图像，并将其它视频帧图像作为感知图像；对所述
参考图像进行特征检测得到参考特征，对所述感知图像进行特征检测得到感知特征；将所述参考特征和感知特征进行匹配以建立特征对应函数；采用所述特征对应函数对所述感知图像进行对齐；利用对齐后的感知图像和所述参考图像合成对齐图像。
10.在一个实施方式中，还包括：从所述视频信息中获取每个商品的运动轨迹；基于所述运动轨迹确定每个商品是否为用户购买商品；在所述商品为用户购买商品的情况下，判断所述用户购买商品的商品数量是否大于预设购买商品数量，若是，发送预警信息至第三方平台。
11.在一个实施方式中，还包括：分别统计已售卖商品数量和剩余商品数量，并将所述已售卖商品数量和剩余商品数量进行展示。
12.在第二方面，本发明提供一种商品识别装置，包括：获取模块，被配置为获取商品的视频信息和重量信息；确定模块，被配置为基于所述视频信息确定每个商品的可见光图像；识别模块，被配置为基于所述每个商品的可见光图像和重量信息对所述商品进行识别。
13.在第三方面，提供一种电子设备，该电子设备包括处理器和存储装置，所述存储装置适于存储多条程序代码，所述程序代码适于由所述处理器加载并运行以执行前述任一项所述的商品识别方法。
14.在第四方面，提供一种计算机可读存储介质，该计算机可读存储介质其中存储有多条程序代码，所述程序代码适于由处理器加载并运行以执行前述任一项所述的商品识别方法。
15.本发明上述一个或多个技术方案，至少具有如下一种或多种有益效果：
16.本发明提出了一种商品识别方法，首先获取商品的视频信息和重量信息，接着基于视频信息确定每个商品的可见光图像，最后基于每个商品的可见光图像和重量信息识别商品数量和商品类型，其对于商品的摆放位置没有限制，能够实现不同类别商品混合放置在一起的商品识别，提高了商品识别的准确率，满足了用户需求，提高了用户体验度。
17.通过在获取商品的视频信息和重量信息之后，对视频信息中的视频帧图像进行对齐操作，从而提升了视频帧图像的质量，有利于减少后期利用视频帧图像确定商品数量及商品类型过程中的噪声干扰。
18.通过商品的运动轨迹确定每个商品为用户购买商品，并在判断用户购买商品的商品数量大于预设购买商品数量的情况下，发送预警信息至第三方平台，以实现人工干预，避免了在用户的购买行为是违规行为或者存在较大风险时造成的损失，提升了售货柜的安全性能。
附图说明
19.参照附图，本发明的公开内容将变得更易理解。本领域技术人员容易理解的是：这些附图仅仅用于说明的目的，而并非意在对本发明的保护范围组成限制。此外，图中类似的数字用以表示类似的部件，其中：
20.图1是根据本发明的一个实施例的商品识别方法的主要步骤流程示意图；
21.图2是根据本发明的一个实施例的售货柜侧视图；
22.图3是根据本发明的一个实施例的整个购买流程示意图；
23.图4是根据本发明的一个实施例的模型训练流程示意图；
24.图5是根据本发明的一个实施例的商品识别装置的主要结构框图示意图。
25.附图标记列表：
26.11：获取模块；12：确定模块；13：识别模块。
具体实施方式
27.下面参照附图来描述本发明的一些实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。
28.在本发明的描述中，“模块”、“处理器”可以包括硬件、软件或者两者的组合。一个模块可以包括硬件电路，各种合适的感应器，通信端口，存储器，也可以包括软件部分，比如程序代码，也可以是软件和硬件的组合。处理器可以是中央处理器、微处理器、图像处理器、数字信号处理器或者其他任何合适的处理器。处理器具有数据和/或信号处理功能。处理器可以以软件方式实现、硬件方式实现或者二者结合方式实现。非暂时性的计算机可读存储介质包括任何合适的可存储程序代码的介质，比如磁碟、硬盘、光碟、闪存、只读存储器、随机存取存储器等等。术语“a和/或b”表示所有可能的a与b的组合，比如只是a、只是b或者a和b。术语“至少一个a或b”或者“a和b中的至少一个”含义与“a和/或b”类似，可以包括只是a、只是b或者a和b。单数形式的术语“一个”、“这个”也可以包含复数形式。
29.目前传统的商品检测和识别方法主要分为四类：rfid、称重、静态视觉以及动态视觉识别方法。当这四种方法应用在自助售货机以对商品进行检测和识别时，其无法实现对于不同类别商品混合放置在一起的情形，而售卖产品单一的情况也难以满足用户需求。为此，本技术提出了一种商品识别方法、装置及存储介质，主要应用于无人售货柜，首先获取商品的视频信息和重量信息，接着基于视频信息确定每个商品的可见光图像，最后基于每个商品的可见光图像和重量信息识别商品数量和商品类型，其对于商品的摆放位置没有限制，能够实现不同类别商品混合放置在一起的商品识别，提高了商品识别的准确率，满足了用户需求，提高了用户体验度。
30.参阅附图1，图1是根据本发明的一个实施例的商品识别方法的主要步骤流程示意图。如图1所示，本发明实施例中的商品识别方法主要包括下列步骤s101-步骤s103。
31.步骤s101：获取商品的视频信息和重量信息，该视频信息为打开售货柜柜门至关闭售货柜柜门的商品视频信息。实际应用中具体可以通过安装在售货柜相应位置的至少一个摄像头来获取商品的视频信息，具体如图2所示的售货柜侧视图，设置在安装在售货柜的摄像头的位置可以是c1至c6这六个位置，但不限于此，也可以只选择c1或者c2中的任意一个。其中c1为售货柜的后上方位置，c2为售货柜的正上方位置，c3为售货柜从上至下第一层的前方位置，c4为售货柜从上至下第一层的后方位置，c5为售货柜从上至下最后一层的后方位置，c6为售货柜从上至下最后一层的前方位置。重量信息为每个商品对应的重量信息，首先可以通过售货柜每一层设置的称重秤测量得到每一层商品的重量信息，接着将测量得到的每一层商品的重量信息与每一层的原始重量信息进行对比，从而得到每一层的商品重量差值，最后将商品重量差值与数据库存储的每个商品的重量信息进行匹配，从而得到每个商品对应的重量信息，其中称重秤的位置可以如图2所示的d至h这五个位置。当售货柜为双门货柜时则相应的摄像头的安装位置和称重秤数量也可以成比例增加。当然，前述所说的摄像头安装位置也可以是能够采集商品视频信息的其它位置，此处不赘述。基于前述安
装的摄像头以及设置的称重秤，可以采集售货柜在整个开门期间上货过程或者购买过程的视频以及售货柜各层的重量信息。另外，还可以采用常规的预处理方法对采集的视频信息和重量信息进行预处理，例如优化过曝或者过暗的视频图像帧导致的商品颜色异常情况，也可以对重量信息进行去噪，以减小异常数据的影响。
32.为了能给用户带来良好的体验，本技术中的售货柜还可以实现不限于以下情形进行主动的语音提醒，如提醒用户网络断开、提醒用户门锁打开失败、提醒用户不要遗忘非售货柜内的物品在货柜内、提醒用户不要故意遮挡摄像头、提醒用户如何联系运营方等。同时用户也可以主动通过app或应用程序主动打开与后台客服的语音通话以获取帮助。
33.步骤s102：基于视频信息确定每个商品的可见光图像。具体来说，在基于视频信息确定每个商品的可见光图像的过程中，首先可以基于视频信息确定视频信息中每一视频帧图像的商品位置，具体可以采用商品检测模型来获取每一视频帧图像中的商品位置，这里的商品检测模型可以由神经网络模型来实现。接着基于商品位置从视频帧图像中获取每个商品的商品单图，也就是根据视频帧图像中的商品位置从每一视频帧图像中抠出相应位置的商品图像，最后通过调整商品单图的尺寸至预设尺寸，这里的预设尺寸可以是预先设置好的固定尺寸，从而得到每个商品的可见光图像。
34.步骤s103：基于每个商品的可见光图像和重量信息对商品进行识别。具体来说，重量信息为每个商品对应的重量信息，该步骤主要是识别商品数量和商品类型，在基于每个商品的可见光图像和重量信息识别商品数量和商品类型的过程中，可以将每个商品的可见光图像和重量信息依次检测网络模型，以得到每个商品的商品数量，这里的检测网络模型可以为faster-rcnn网络，也可以是yolo系列的网络模型，但不限于此。类似的，可以将每个商品的可见光图像和重量信息输入特征识别深度学习模型，得到每个商品的商品类型，这里的特征识别深度学习模型可以为vgg网络或轻量级(shufflenet)网络，但不限于此。
35.基于上述步骤s101-步骤s103，首先获取商品的视频信息和重量信息，接着基于视频信息确定每个商品的可见光图像，最后基于每个商品的可见光图像和重量信息识别商品数量和商品类型，其对于商品的摆放位置没有限制，能够实现不同类别商品混合放置在一起的商品识别，提高了商品识别的准确率，满足了用户需求，提高了用户体验度。
36.在一个实施方式中，所述商品识别方法还包括：在获取商品的视频信息和重量信息之后，可以对视频信息中的视频帧图像进行对齐操作，得到对齐图像。具体来说，在执行对齐操作的过程中，可以先从视频帧图像中筛选出参考图像，并将其它视频帧图像作为感知图像，接着对参考图像进行特征检测以得到参考特征，对感知图像进行特征检测以得到感知特征，其次将参考特征和感知特征一一进行匹配以建立特征对应函数，并采用特征对应函数对感知图像进行对齐，最后利用对齐后的感知图像和参考图像来合成对齐图像。数据对齐就是指将不同时刻、不同视角下获取的相同场景的多幅图像按照某种规则尽可能重叠的过程。在该实施例中，可以根据局域特征的匹配算法或基于图像边缘的配准方法等来实现数据对齐。
37.示例性地，以10帧视频帧图像作为示例进行说明，首先在该10帧视频帧图像选择一帧最清晰的图像作为参考图像，剩余的其它视频帧图像作为感知图像，接着对参考图像和感知图像分别进行特征检测，具体是检测图像的显著目标，例如边缘轮廓、线交叉、角等，这些特征可以用点表示，例如重心、连接点以及角等，通过对参考图像进行特征检测可以得
到参考特征，对感知图像进行特征检测可以得到感知特征。其次使参考特征和感知特征一一对应，以建立一种特征对应函数。在得到特征对应函数后，利用特征对应函数来转换感知图像，具体是采用最近邻方法或者双线性内插对对感知图像进行处理，最后利用对齐后的感知图像和参考图像来合成对齐图像。通过在获取商品的视频信息和重量信息之后，对视频信息中的视频帧图像进行对齐操作，从而提升了视频帧图像的质量，有利于减少后期利用视频帧图像确定商品数量及商品类型过程中的噪声干扰。在获得对齐图像后，可以进一步基于对齐图像确定每个商品的可见光图像，最后基于每个商品的可见光图像和重量信息确定商品数量和每个商品的商品类型。具体地，基于对齐图像确定每个商品的可见光图像的过程，与前述基于视频信息确定每个商品的可见光图像的过程类似，基于对齐图像确定每个商品的可见光图像的过程可参见前述基于视频信息确定每个商品的可见光图像的过程，此处不赘述。
38.在一个实施方式中，所述商品识别方法还包括：从视频信息中获取每个商品的运动轨迹，具体可以通过卡曼尔滤波算法从视频信息中获取每个商品的运动轨迹。接着可以基于运动轨迹确定每个商品是否为用户购买商品，示例性地，某个商品的运动轨迹是由售货柜的某一层相应位置运动至售货柜外，则可以确定该商品为用户购买的商品，当某个商品的运动轨迹是由售货柜外运动至售货柜的某一层相应位置，则可以确定该商品为补货商品或者用户购买时退回的商品。在商品为用户购买商品的情况下，判断用户购买商品的商品数量是否大于预设购买商品数量，若是，则发送预警信息至第三方平台。例如，当用户一次性购买几十瓶饮料时，其购买饮料的数量大于预设购买商品数量，系统可以判断用户的购买行为为违规行为或者存在较大风险，通过向第三方发送预警信息来实现人工干预，这里的第三方可以是售货柜的负责人员所在的终端。同时，在判断用户购买商品的商品数量不大于预设购买商品数量，说明用户此次的购买行为为合理购买，接着进入正常结算状态。另外，也可以对采集的用户购买过程中的视频帧图像进行智能裁剪和统一编码，以将这些信息一同传输到结算方或人工客服。
39.通过商品的运动轨迹确定每个商品为用户购买商品，并在判断用户购买商品的商品数量大于预设购买商品数量的情况下，发送预警信息至第三方平台，以实现人工干预，避免了在用户的购买行为为违规行为或者存在较大风险时造成的损失，提升了售货柜的安全性能。
40.在一个实施方式中，所述商品识别方法还包括：分别统计已售卖商品数量和剩余商品数量，并将已售卖商品数量和剩余商品数量展示在售货柜主界面。通常来说，传统售货机展示柜只展示所售商品示意图以及是否有货，实际售卖商品以及剩余数量消费者无法了解。另外，其主要依靠人工定时补货，热销商品难以及时补货，无法准确了解消费者商品偏好。为此，本技术通过实时更新已售卖商品数量以及剩余商品数量，并将统计的已售卖商品数量和剩余商品数量展示在售货柜主界面从而供用户了解实际情况，满足了用户需求。另外，本技术还可以实时统计热销以及滞销商品数量并将其发送至第三方平台以使供货人员实时了解消费者偏好并及时供货。在一个实施例中，如图3所示整个购买流程示意图，在用户完成结算后，后台可统计已售卖商品数量、剩余商品数量、热销以及滞销商品数量等，以用于展示或者使供货人员实时了解消费者偏好并及时供货。
41.在一个实施例中，如图4所示，在特征识别深度学习模型的训练过程中，主要是将
用于训练的可见光图像和重量信息输入特征识别深度学习模型中，该模型通过将输入的信息和预设特征进行对比，从而确定模型参数，在利用该模型输出的商品类型和其标签信息匹配度较高时，得到训练好的特征识别深度学习模型。
42.需要指出的是，尽管上述实施例中将各个步骤按照特定的先后顺序进行了描述，但是本领域技术人员可以理解，为了实现本发明的效果，不同的步骤之间并非必须按照这样的顺序执行，其可以同时(并行)执行或以其他顺序执行，这些变化都在本发明的保护范围之内。
43.进一步，本发明还提供了一种商品识别装置。参阅附图5，图5是根据本发明的一个实施例的商品识别装置的主要结构框图。如图5所示，本发明实施例中的商品识别装置主要包括获取模块11、确定模块12和识别模块13。在一些实施例中，获取模块11、确定模块12和识别模块13中的一个或多个可以合并在一起成为一个模块。在一些实施例中获取模块11可以被配置成获取商品的视频信息和重量信息。确定模块12可以被配置成基于视频信息确定每个商品的可见光图像。识别模块13可以被配置成基于每个商品的可见光图像和重量信息对商品进行识别。一个实施方式中，具体实现功能的描述可以参见步骤s101-步骤s103所述。
44.上述商品识别装置以用于执行图1所示的商品识别方法实施例，两者的技术原理、所解决的技术问题及产生的技术效果相似，本技术领域技术人员可以清楚地了解到，为了描述的方便和简洁，商品识别装置的具体工作过程及有关说明，可以参考商品识别方法的实施例所描述的内容，此处不再赘述。
45.本领域技术人员能够理解的是，本发明实现上述一实施例的方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读存储介质可以包括：能够携带所述计算机程序代码的任何实体或装置、介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器、随机存取存储器、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读存储介质不包括电载波信号和电信信号。
46.进一步，本发明还提供了一种电子设备。在根据本发明的一个电子设备实施例中，电子设备包括处理器和存储装置，存储装置可以被配置成存储执行上述方法实施例的商品识别方法的程序，处理器可以被配置成用于执行存储装置中的程序，该程序包括但不限于执行上述方法实施例的商品识别方法的程序。为了便于说明，仅示出了与本发明实施例相关的部分，具体技术细节未揭示的，请参照本发明实施例方法部分。
47.进一步，本发明还提供了一种计算机可读存储介质。在根据本发明的一个计算机可读存储介质实施例中，计算机可读存储介质可以被配置成存储执行上述方法实施例的商品识别方法的程序，该程序可以由处理器加载并运行以实现上述商品识别方法。为了便于说明，仅示出了与本发明实施例相关的部分，具体技术细节未揭示的，请参照本发明实施例方法部分。该计算机可读存储介质可以是包括各种电子设备形成的存储装置设备，可选的，
本发明实施例中计算机可读存储介质是非暂时性的计算机可读存储介质。
48.进一步，应该理解的是，由于各个模块的设定仅仅是为了说明本发明的装置的功能单元，这些模块对应的物理器件可以是处理器本身，或者处理器中软件的一部分，硬件的一部分，或者软件和硬件结合的一部分。因此，图中的各个模块的数量仅仅是示意性的。
49.本领域技术人员能够理解的是，可以对装置中的各个模块进行适应性地拆分或合并。对具体模块的这种拆分或合并并不会导致技术方案偏离本发明的原理，因此，拆分或合并之后的技术方案都将落入本发明的保护范围内。
50.至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。