一种购物装置和商品放置检测方法、检测系统与流程

1.本发明涉及商品放置情况的检测技术领域，具体涉及一种购物装置和商品放置检测方法、检测系统。


背景技术：

2.现有的购物车会采用在底部安装重力传感器的方式感应购物车内重量的变化，当重力传感器感知到有重量变化时，处理器会驱动相机对购物车内的商品进行拍照，然后根据照片识别购物车内的商品，并将识别到的商品加入到购物清单内，然而这样的方式难以准确识别出哪个商品是刚刚加入购物车内的商品，而且很容易出现商品的条形码被其他商品遮挡的情况，导致无法准确地识别出加入购物车内的商品。


技术实现要素：

3.本发明的目的在于克服现有技术中的缺点与不足，提供一种购物装置和商品放置检测方法、检测系统，可以快速且准确地识别出用户放置或移除的商品。
4.本发明的一个实施例提供一种购物装置，包括：
5.底座，所述底座的内部设有供电单元、储存器、处理器和无线网络单元，所述供电单元分别与所述储存器、处理器和无线网络单元连接，所述储存器与所述处理器连接，所述处理器与所述无线网络单元连接，所述无线网络单元与商场服务器连接；
6.车体框架，所述车体框架固定在所述底座的上方，所述车体框架设有开口向上的容置部，所述车体框架的顶部边缘还设有一自上而下沿靠近所述容置部的方向倾斜的安装斜面；
7.固定板，所述固定板固定在所述车体框架的顶部边缘，且与所述斜面相对设置，所述固定板自下而上沿靠近所述安装斜面的方向倾斜；
8.超声波发生器，所述超声波发生器固定在所述固定板上，且位于所述固定板朝向所述安装斜面的一侧，所述超声波发生器与所述底座的处理器连接，所述超声波发生器用于向所述安装斜面发送超声波信号；形成一覆盖于所述容置部上方的超声波检测区；
9.超声波接收器，所述超声波接收器固定在所述固定板上，且位于所述固定板朝向所述安装斜面的一侧，所述超声波接收器与所述底座的处理器连接，所述超声波接收器用于接收所述超声波检测区上的物品反射回的超声波的回波信号，并将所述回波信号发送给所述处理器；
10.第一拍摄机构，所述第一拍摄机构固定在所述固定板上，且位于所述固定板朝向所述安装斜面的一侧，所述第一拍摄机构与所述底座的处理器连接，所述第一拍摄机构的相机镜头朝向所述超声波检测区；
11.第二拍摄机构，所述第二拍摄机构固定在所述安装斜面上，所述第二拍摄机构与所述底座的处理器连接，所述第二拍摄机构的相机镜头朝向所述超声波检测区。
12.在本实施例中，本发明的购物装置可以利用超声波发生器和超声波接收器快速地
检测出经过所述超声波检测区的范围内的商品，然后快速驱动所述第一拍摄机构和第二拍摄机构对经过所述超声波检测区的范围内的商品拍照，经过处理器对照片进行识别从而获得所述商品的信息，相对于现有技术，本发明可以准确且快速地将放置到所述容置腔内的商品的信息或移除出所述容置腔的商品的信息识别出来。
13.进一步，还包括显示屏，所述显示屏固定在所述固定板上，且位于与所述第一拍摄机构相背的一侧，所述显示屏与所述处理器连接。有利于用户查看购物装置内的商品清单，以及所述第一拍摄机构和第二拍摄机构拍摄的图片。
14.进一步，还包括指示灯，所述指示灯固定在所述底座或车体框架的外表面，所述指示灯与所述处理器连接。有利于提醒顾客或服务员该购物装置的状态。
15.进一步，所述车体框架的底部还设有一重力传感器，所述重力传感器位于所述容置部的下方，所述重力传感器与所述处理器连接。
16.在本实施例中，通过重力传感器感应容置部内的重量的变化，从而判断被拍照的商品是被放置到容置部内还是被移除到容置部外，有利于判断购物装置内的商品是增加还是减少。
17.本发明的一个实施例还提供一种商品放置检测方法，包括以下步骤：
18.获取购物装置上的超声波接收器接收的回波信号；
19.根据所述回波信号判断所述购物装置的超声波检测区是否存在商品；
20.若所述超声波检测区存在商品，驱动第一拍摄机构向所述超声波检测区拍摄第一照片，驱动第二拍摄机构向所述超声波检测区拍摄第二照片；
21.对所述第一照片和第二照片中进行条形码识别；
22.若识别到条形码，根据识别所述条形码得到的商品信息与商场服务器的商品数据库的商品信息进行信息比对，若信息比对成功，将信息比对成功的商品与对应的第一照片或第二照片绑定，并将信息比对成功的商品加入到所述购物装置的处理器的虚拟购物清单内或移除出所述虚拟购物清单；若信息比对失败，将对应的所述第一照片和第二照片标记为异常照片，将所述虚拟购物清单标记为异常状态。
23.若识别不到条形码，提取所述第一照片和第二照片中的被拍摄到的商品的特征数据，将提取到的特征数据与所述商场服务器的商品特征库的特征数据进行比对，若特征比对成功，将特征比对成功的商品与对应的第一照片或第二照片绑定，并将特征比对成功的商品加入到所述购物装置的处理器的虚拟购物清单内或移除出所述虚拟购物清单；若特征比对失败，将对应的所述第一照片和第二照片标记为异常照片，将所述虚拟购物清单标记为异常状态。
24.相对于现有技术，本发明的商品放置检测方法通过获取超声波接收器接收的回波信号，然后快速驱动所述第一拍摄机构和第二拍摄机构对经过所述超声波检测区的范围内的商品拍照，经过对照片进行识别从而获得所述商品的信息，可以准确且快速地将放置到所述容置腔内的商品的信息或移除出所述容置腔的商品的信息识别出来。
25.进一步，还包括以下步骤：
26.在对所述第一照片和第二照片中进行条形码识别时，将所述第一照片和第二照片显示在一显示屏上；
27.在将信息比对成功的商品加入到所述购物装置的处理器的虚拟购物清单内或移
除出所述虚拟购物清单时，将所述信息比对成功的商品和虚拟购物清单的信息显示在所述显示屏上；
28.在将特征比对成功的商品加入到所述购物装置的处理器的虚拟购物清单内或移除出所述虚拟购物清单时，将所述特征比对成功的商品和虚拟购物清单的信息显示在所述显示屏上。
29.进一步，还包括以下步骤：
30.获取所述虚拟购物清单的当前状态，若所述购物车的当前状态为异常状态，驱动一指示灯进入第一亮灯状态，否则，驱动所述指示灯保持第二亮灯状态。
31.进一步，还包括以下步骤：
32.通过一重力传感器获取购物装置内的商品实时的重量数据；
33.若所述重量数据增加，在信息比对成功时，将信息比对成功的商品移除出所述虚拟购物清单；在特征比对成功时，将特征比对成功的商品移除出所述虚拟购物清单。
34.本发明的一个实施例还提供一种商品放置检测系统，包括：回波信号获取模块、商品检测模块、条形码识别模块、第一商品处理模块和第二商品处理模块；
35.所述回波信号获取模块用于获取购物装置上的超声波接收器接收的回波信号；
36.所述商品检测模块用于根据所述回波信号判断所述购物装置的超声波检测区是否存在商品；
37.所述用于若所述超声波检测区存在商品，驱动第一拍摄机构向所述超声波检测区拍摄第一照片，驱动第二拍摄机构向所述超声波检测区拍摄第二照片；
38.所述条形码识别模块用于对所述第一照片和第二照片中进行条形码识别；
39.所述第一商品处理模块用于，若识别到条形码，根据识别所述条形码得到的商品信息与商场服务器的商品数据库的商品信息进行信息比对，若信息比对成功，将信息比对成功的商品与对应的第一照片或第二照片绑定，并将信息比对成功的商品加入到所述购物装置的处理器的虚拟购物清单内或移除出所述虚拟购物清单；若信息比对失败，将对应的所述第一照片和第二照片标记为异常照片，将所述虚拟购物清单标记为异常状态。
40.所述第二商品处理模块用于，若识别不到条形码，提取所述第一照片和第二照片中的被拍摄到的商品的特征数据，将提取到的特征数据与所述商场服务器的商品特征库的特征数据进行比对，若特征比对成功，将特征比对成功的商品与对应的第一照片或第二照片绑定，并将特征比对成功的商品加入到所述购物装置的处理器的虚拟购物清单内或移除出所述虚拟购物清单；若特征比对失败，将对应的所述第一照片和第二照片标记为异常照片，将所述虚拟购物清单标记为异常状态。
41.相对于现有技术，本发明的商品放置检测系统通过获取超声波接收器接收的回波信号，然后快速驱动所述第一拍摄机构和第二拍摄机构对经过所述超声波检测区的范围内的商品拍照，经过对照片进行识别从而获得所述商品的信息，可以准确且快速地将放置到所述容置腔内的商品的信息或移除出所述容置腔的商品的信息识别出来。
42.进一步，还包括：重力感应模块，所述重力感应模块用于通过一重力传感器获取购物装置内的商品实时的重量数据；若所述重量数据增加，在信息比对成功时，将信息比对成功的商品移除出所述虚拟购物清单；在特征比对成功时，将特征比对成功的商品移除出所述虚拟购物清单。
43.为了能更清晰的理解本发明，以下将结合附图说明阐述本发明的具体实施方式。
附图说明
44.图1为本发明一个实施例的购物装置的结构图。
45.图2为本发明一个实施例的商品放置检测方法的流程图。
46.图3为本发明一个实施例的商品放置检测系统的模块连接图。
47.1、底座；2、车体框架；21、滑轮组；22推杆；3、固定板；4、超声波发生器；5、超声波接收器；6、第一拍摄机构；7、第二拍摄机构；101、回波信号获取模块；102、商品检测模块；103、照片拍摄模块；104、条形码识别模块；105、第一商品处理模块；106、第二商品处理模块。
具体实施方式
48.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
49.请参阅图1，其是本发明一个实施例的购物装置的结构图，包括：
50.底座1，所述底座1的内部设有供电单元、储存器、处理器和无线网络单元(图未示)，所述供电单元分别与所述储存器、处理器和无线网络单元连接，所述储存器与所述处理器连接，所述处理器与所述无线网络单元连接，所述无线网络单元与商场服务器连接；
51.车体框架2，所述车体框架2固定在所述底座1的上方，所述车体框架2设有开口向上的容置部，所述车体框架2的顶部边缘还设有一自上而下沿靠近所述容置部的方向倾斜的安装斜面；
52.优选地，所述车体框架2的底部设有滑轮组21，优选地，所述滑轮组21为万向轮滑轮组21；
53.固定板，所述固定板固定在所述车体框架2的顶部边缘，且与所述斜面相对设置，所述固定板自下而上沿靠近所述安装斜面的方向倾斜；
54.优选地，所述固定板平行于所述安装斜面；
55.优选地，所述车体框架2的顶部边缘还设有推杆，所述推杆位于所述固定板所在的一侧；
56.超声波发生器，所述超声波发生器固定在所述固定板上，且位于所述固定板朝向所述安装斜面的一侧，所述超声波发生器与所述底座1的处理器连接，所述超声波发生器用于向所述安装斜面发送超声波信号；形成一覆盖于所述容置部上方的超声波检测区；
57.优选地，所述车体框架2还固定有吸音机构，所述吸引机构覆盖在所述车体框架2与所述超声波检测区重叠的部分的外表面；所述吸引机构包括但不限于吸音板、和/或棉垫、和/或吸音泡沫；
58.超声波接收器，所述超声波接收器固定在所述固定板上，且位于所述固定板朝向所述安装斜面的一侧，所述超声波接收器与所述底座1的处理器连接，所述超声波接收器用于接收所述超声波检测区上的物品反射回的超声波的回波信号，并将所述回波信号发送给所述处理器；
59.第一拍摄机构，所述第一拍摄机构固定在所述固定板上，且位于所述固定板朝向所述安装斜面的一侧，所述第一拍摄机构与所述底座1的处理器连接，所述第一拍摄机构的相机镜头朝向所述超声波检测区；
60.第二拍摄机构，所述第二拍摄机构固定在所述安装斜面上，所述第二拍摄机构与所述底座1的处理器连接，所述第二拍摄机构的相机镜头朝向所述超声波检测区。
61.在本实施例中，本发明的购物装置可以利用超声波发生器和超声波接收器快速地检测出经过所述超声波检测区的范围内的商品，然后快速驱动所述第一拍摄机构和第二拍摄机构对经过所述超声波检测区的范围内的商品拍照，经过处理器对照片进行识别从而获得所述商品的信息，相对于现有技术，本发明可以准确且快速地将放置到所述容置腔内的商品的信息或移除出所述容置腔的商品的信息识别出来。
62.优选地，所述第一拍摄机构和第二拍摄机构都采用高速相机，其中所述第一拍摄机构包括a相机和b相机，所述a相机和b相机分别设置在所述固定板同一水平高度的两边，所述第二拍摄机构包括c相机和d相机，所述c相机和d相机分别设置在所述安装斜面同一水平高度的两边；其中所述a相机相邻于b相机和d相机，c相机相邻与b相机和d相机，所述a相机和c相机的镜头相对，所述b相机和d相机的镜头相对。
63.在一个可行的实施例中，还包括显示屏，所述显示屏固定在所述固定板上，且位于与所述第一拍摄机构相背的一侧，所述显示屏与所述处理器连接。
64.在本实施例中，所述处理器识别出商品的信息后，根据商品的信息调整购物清单的内容，并将购物清单的内容和所述第一拍摄机构和第二拍摄机构拍摄的图片发送到显示屏上，有利于用户查看购物装置内的商品清单，以及所述第一拍摄机构和第二拍摄机构拍摄的图片。可选地，所述显示屏还配有用于发送指令的物理按键。优选地，所述显示屏为触摸屏。
65.在一个可行的实施例中，还包括指示灯，所述指示灯固定在所述底座1或车体框架2的外表面，所述指示灯与所述处理器连接。
66.在本实施例中，当所述处理器无法从所述所述第一拍摄机构和第二拍摄机构拍摄的图片中识别出对应的商品时，驱动一指示灯进入第一亮灯状态，否则，驱动所述指示灯保持第二亮灯状态。可选地，所述指示灯为单色灯，所述第一亮灯状态可以为常亮或闪烁，所述第二亮灯状态为常暗状态。优选地，所述指示灯为双色灯，例如红绿色指示灯，当所述指示灯为红绿色指示灯时，所述第一亮灯状态可以是亮红色灯光，而所述第二亮灯状态可以是亮绿色灯光，反之亦然。有利于提醒顾客或服务员该购物装置的状态。
67.在一个可行的实施例中，所述车体框架2的底部还设有一重力传感器，所述重力传感器位于所述容置部的下方，所述重力传感器与所述处理器连接。
68.在本实施例中，通过重力传感器感应容置部内的重量的变化，从而判断被拍照的商品是被放置到容置部内还是被移除到容置部外，有利于判断购物装置内的商品是增加还是减少。
69.请参阅图2，本发明的一个实施例还提供一种商品放置检测方法，所述商品放置检测方法应用于检测上述购物装置的商品放置情况，包括以下步骤：
70.s1：获取购物装置上的超声波接收器接收的回波信号；
71.s2：根据所述回波信号判断所述购物装置的超声波检测区是否存在商品；
72.s3：若所述超声波检测区存在商品，驱动第一拍摄机构向所述超声波检测区拍摄第一照片，驱动第二拍摄机构向所述超声波检测区拍摄第二照片；
73.s4：对所述第一照片和第二照片中进行条形码识别；
74.s5：若识别到条形码，根据识别所述条形码得到的商品信息与商场服务器的商品数据库的商品信息进行信息比对，若信息比对成功，将信息比对成功的商品与对应的第一照片或第二照片绑定，并将信息比对成功的商品加入到所述购物装置的处理器的虚拟购物清单内或移除出所述虚拟购物清单；若信息比对失败，将对应的所述第一照片和第二照片标记为异常照片，将所述虚拟购物清单标记为异常状态。
75.s6：若识别不到条形码，提取所述第一照片和第二照片中的被拍摄到的商品的特征数据，将提取到的特征数据与所述商场服务器的商品特征库的特征数据进行比对，若特征比对成功，将特征比对成功的商品与对应的第一照片或第二照片绑定，并将特征比对成功的商品加入到所述购物装置的处理器的虚拟购物清单内或移除出所述虚拟购物清单；若特征比对失败，将对应的所述第一照片和第二照片标记为异常照片，将所述虚拟购物清单标记为异常状态。
76.相对于现有技术，本发明的商品放置检测方法通过获取超声波接收器接收的回波信号，然后快速驱动所述第一拍摄机构和第二拍摄机构对经过所述超声波检测区的范围内的商品拍照，经过对照片进行识别从而获得所述商品的信息，可以准确且快速地将放置到所述容置腔内的商品的信息或移除出所述容置腔的商品的信息识别出来。
77.优选地，所述第一拍摄机构和第二拍摄机构都采用高速相机，其中所述第一拍摄机构包括a相机和b相机，所述a相机和b相机分别设置在所述固定板同一水平高度的两边，所述第二拍摄机构包括c相机和d相机，所述c相机和d相机分别设置在所述安装斜面同一水平高度的两边；其中所述a相机相邻于b相机和d相机，c相机相邻与b相机和d相机，所述a相机和c相机的镜头相对，所述b相机和d相机的镜头相对。所述第一照片包括a照片和b照片，所述第二照片包括c照片和d照片。
78.在一个可行的实施例中，还包括以下步骤：
79.在对所述第一照片和第二照片中进行条形码识别时，将所述第一照片和第二照片显示在一显示屏上；
80.在将信息比对成功的商品加入到所述购物装置的处理器的虚拟购物清单内或移除出所述虚拟购物清单时，将所述信息比对成功的商品和虚拟购物清单的信息显示在所述显示屏上；
81.在将特征比对成功的商品加入到所述购物装置的处理器的虚拟购物清单内或移除出所述虚拟购物清单时，将所述特征比对成功的商品和虚拟购物清单的信息显示在所述显示屏上。
82.在一个可行的实施例中，还包括以下步骤：
83.获取所述虚拟购物清单的当前状态，若所述购物车的当前状态为异常状态，驱动一指示灯进入第一亮灯状态，否则，驱动所述指示灯保持第二亮灯状态。
84.在一个可行的实施例中，还包括以下步骤：
85.通过一重力传感器获取购物装置内的商品实时的重量数据；
86.若所述重量数据增加，在信息比对成功时，将信息比对成功的商品移除出所述虚
拟购物清单；在特征比对成功时，将特征比对成功的商品移除出所述虚拟购物清单。
87.请参阅图3，本发明的一个实施例还提供一种商品放置检测系统，包括：回波信号获取模块101、商品检测模块102、条形码识别模块104、第一商品处理模块105和第二商品处理模块106；
88.所述回波信号获取模块101用于获取购物装置上的超声波接收器接收的回波信号；
89.所述商品检测模块102用于根据所述回波信号判断所述购物装置的超声波检测区是否存在商品；
90.所述照片拍摄模块103用于若所述超声波检测区存在商品，驱动第一拍摄机构向所述超声波检测区拍摄第一照片，驱动第二拍摄机构向所述超声波检测区拍摄第二照片；
91.所述条形码识别模块104用于对所述第一照片和第二照片中进行条形码识别；
92.所述第一商品处理模块105用于，若识别到条形码，根据识别所述条形码得到的商品信息与商场服务器的商品数据库的商品信息进行信息比对，若信息比对成功，将信息比对成功的商品与对应的第一照片或第二照片绑定，并将信息比对成功的商品加入到所述购物装置的处理器的虚拟购物清单内或移除出所述虚拟购物清单；若信息比对失败，将对应的所述第一照片和第二照片标记为异常照片，将所述虚拟购物清单标记为异常状态。
93.所述第二商品处理模块106用于，若识别不到条形码，提取所述第一照片和第二照片中的被拍摄到的商品的特征数据，将提取到的特征数据与所述商场服务器的商品特征库的特征数据进行比对，若特征比对成功，将特征比对成功的商品与对应的第一照片或第二照片绑定，并将特征比对成功的商品加入到所述购物装置的处理器的虚拟购物清单内或移除出所述虚拟购物清单；若特征比对失败，将对应的所述第一照片和第二照片标记为异常照片，将所述虚拟购物清单标记为异常状态。
94.相对于现有技术，本发明的商品放置检测系统通过获取超声波接收器接收的回波信号，然后快速驱动所述第一拍摄机构和第二拍摄机构对经过所述超声波检测区的范围内的商品拍照，经过对照片进行识别从而获得所述商品的信息，可以准确且快速地将放置到所述容置腔内的商品的信息或移除出所述容置腔的商品的信息识别出来。
95.在一个可行的实施例中，还包括：重力感应模块，所述重力感应模块用于通过一重力传感器获取购物装置内的商品实时的重量数据；若所述重量数据增加，在信息比对成功时，将信息比对成功的商品移除出所述虚拟购物清单；在特征比对成功时，将特征比对成功的商品移除出所述虚拟购物清单。
96.尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。