结合雷达和摄像头的物体识别方法、装置及智能电子秤与流程

1.本发明涉及物体称重的技术领域，尤其涉及一种结合雷达和摄像头的物体识别方法、装置及智能电子秤。


背景技术：

2.在日常生活中，在购买如蔬菜、水果、肉类等生活必需品时，会用到秤给商品称重以确定商品重量，最后由买家支付等价的金钱来交换。由于传统的秤砣和秤杆的称重方式容易出现误差，为了提高称重的准确度，现已改用智能电子秤称重。
3.其中一种常用的智能电子秤是智能图像识别电子秤，此电子秤是在原来电子秤上增加了摄像头来采集商品的图像信息，再由后台处理器对图像信息进行识别分类，以确定商品的类型、重量和价格等信息，以提高称重与识别的效率。
4.但目前常用的智能图像识别电子秤有如下技术问题：每次称重时仍然需要用户在电子秤的触控屏幕中选择称重物体的类型及其单价，再将物体放置在电子秤中称重，操控繁琐，而且不同的商品在称重前已使用了不同颜色的透明塑料袋包装好，而不同颜色的袋子在不同环境和不同光强下折射率不同，使得摄像头在采集物体图像时容易出现偏差，导致识别不准确，降低了识别的准确率。


技术实现要素：

5.本发明提出一种结合雷达和摄像头的物体识别方法、装置及智能电子秤，所述智能电子秤可以在商品放置后同时利用雷达与摄像头进行双重识别，以提高识别商品的准确率。
6.本发明实施例的第一方面提供了一种电子秤，所述电子秤包括：用于承托物体的托盘、用于对物体进行识别分析的控制机以及用于与用户进行信息交互的触控屏；
7.所述控制机设置在所述托盘的侧边，所述触控屏设置在所述控制器的侧边且所述触控屏的正面朝向所述托盘的顶面；
8.所述触控屏的底边设有第一雷达组件，且所述第一雷达组件朝向所述托盘的顶面，所述触控屏的顶边设有摄像头，且所述摄像头朝向所述托盘的顶面。
9.在第一方面的一种可能的实现方式中，所述控制机的内部设有第二雷达组件，且所述第二雷达组件朝向所述托盘的顶面。
10.在第一方面的一种可能的实现方式中，所述触控屏的顶边设有延长杆，所述摄像头设置在所述延长杆上，以使所述摄像头设置在所述托盘的顶面并朝向所述托盘的顶面。
11.在第一方面的一种可能的实现方式中，还包括用于承托所述托盘的秤体；
12.所述秤体设置在所述托盘底部。
13.本发明实施例的第二方面提供了一种结合雷达和摄像头的物体识别方法，所述方法适用于如上所述的电子秤，所述方法包括：
14.分别获取通过雷达采集的雷达检测数据以及通过摄像头采集的物体图像数据；
15.利用预设的机器学习分类算法确定所述雷达检测数据对应的雷达识别结果，以及利用预设的图像识别算法确定所述物体图像数据对应的图像识别结果；
16.采用卡尔曼滤波方式融合所述雷达识别结果与所述图像识别结果得到物体识别结果。
17.在第二方面的一种可能的实现方式中，所述利用预设的机器学习分类算法确定所述雷达检测数据对应的雷达识别结果，包括：
18.将所述雷达检测数据转换生成雷达图像；
19.将所述雷达图像输入至基于卷积神经网络的机器学习算法中得到雷达识别结果。
20.在第二方面的一种可能的实现方式中，所述雷达检测数据包括多个通道的雷达中频原始数据；
21.所述将所述雷达检测数据转换生成雷达图像，包括：
22.将每个通道在一个调频周期内的雷达中频原始数据按纵向水平排列,得到二维的雷达采样数据矩阵；
23.分别对所述雷达采样数据矩阵的每一行和每一列进行傅立叶变换得到具有二维的距离角度的雷达图像。
24.在第二方面的一种可能的实现方式中，所述方法还包括：
25.标签所述图像识别结果得到标签图像；
26.利用所述标签图像对所述基于卷积神经网络的机器学习算法进行模型优化训练。
27.在第二方面的一种可能的实现方式中，在所述采用卡尔曼滤波方式融合所述雷达识别结果与所述图像识别结果得到物体识别结果的步骤后，所述方法还包括：
28.展示所述物体识别结果，并当所述物体识别结果与实际物体不符时，获取用户输入的纠正数据；
29.采用所述纠正数据对所述雷达检测数据二次识别，得到并存储二次雷达识别结果。
30.本发明实施例的第三方面提供了一种结合雷达和摄像头的物体识别装置，所述装置适用于如上所述的电子秤，所述装置包括：
31.获取模块，用于分别获取通过雷达采集的雷达检测数据以及通过摄像头采集的物体图像数据；
32.分别识别模块，用于利用预设的机器学习分类算法确定所述雷达检测数据对应的雷达识别结果，以及利用预设的图像识别算法确定所述物体图像数据对应的图像识别结果；
33.融合识别模块，用于采用卡尔曼滤波方式融合所述雷达识别结果与所述图像识别结果得到物体识别结果。
34.相比于现有技术，本发明实施例提供的一种结合雷达和摄像头的物体识别方法、装置及智能电子秤，其有益效果在于：本发明可以同时采集物体反射的雷达波信号以及物体图像，并利用雷达波信号和物体图像进行双重识别，以减少识别时环境因素的影响，提高识别的准确率。
附图说明
35.图1是本发明一实施例提供的一种智能电子秤的结构示意图；
36.图2是本发明一实施例提供的一种智能电子秤的后视图；
37.图3是本发明一实施例提供的控制机的结构示意图；
38.图4是本发明一实施例提供的一种结合雷达和摄像头的物体识别方法的流程示意图；
39.图5是本发明一实施例提供的二维的距离角度的雷达图像的示意图；
40.图6是本发明一实施例提供的一种结合雷达和摄像头的物体识别装置的结构示意图。
具体实施方式
41.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
42.目前常用的智能图像识别电子秤有如下技术问题：每次称重时仍然需要用户在电子秤的触控屏幕中选择称重物体的类型及其单价，再将物体放置在电子秤中称重，操控繁琐，而且不同的商品在称重前已使用了不同颜色的透明塑料袋包装好，而不同颜色的袋子在不同环境和不同光强下折射率不同，使得摄像头在采集物体图像时容易出现偏差，导致识别不准确，降低了识别的准确率。
43.为了解决上述问题，下面将通过以下具体的实施例对本技术实施例提供的一种智能电子秤进行详细介绍和说明。
44.参照图1-2，分别示出了本发明一实施例提供的一种智能电子秤的结构示意图和本发明一实施例提供的一种智能电子秤的后视图。
45.其中，作为示例的，所述智能电子秤可以包括：用于承托物体的托盘1、用于对物体进行识别分析的控制机2以及用于与用户进行信息交互的触控屏3；
46.所述控制机2设置在所述托盘1的侧边，所述触控屏3设置在所述控制器的侧边且所述触控屏3的正面朝向所述托盘1的顶面；
47.所述触控屏3的底边设有第一雷达组件4，且所述第一雷达组件4朝向所述托盘1的顶面，所述触控屏3的顶边设有摄像头5，且所述摄像头5朝向所述托盘1的顶面。
48.具体地，所述控制机2可以设置在托盘1的顶角处，触控屏3的正面可以垂直与托盘1的顶面。
49.在使用时，用户可以将待识别的物体放置在托盘1上，使得触控屏3上的第一雷达组件4向物体发射雷达波并采集物体反射的雷达波，以及使得摄像头5可以采集物体的图像，再将物体反射的雷达波与物体图像返回至控制机2中，由控制机2采用物体反射的雷达波进行一次识别，以及采用物体图像进行二次识别，最后再将两个识别结果进行融合，最终识别确定用户放置的物体类型。
50.通过两种方式的识别，再将两个识别结果进行融合，从而可以减少环境因素的影响，从而提高识别的准确率。
51.由于称重的物体可能有多种，而不同的物体的重量可能不同，为了增加托盘1的称重能力，参照图1-2，在一实施例中，还包括用于承托所述托盘1的秤体6；
52.所述秤体6设置在所述托盘1底部。
53.具体地，秤体6可以硬质材料，如金属。
54.为了扩大摄像头5的拍摄范围，使得摄像头5可以更加全面地拍摄在托盘1上的物体，在一实施例中，所述触控屏3的顶边设有延长杆7，所述摄像头5设置在所述延长杆7上，以使所述摄像头5设置在所述托盘1的顶面并朝向所述托盘1的顶面。
55.为了进一步提高识别的准确率，参照图3，示出了本发明一实施例提供的控制机的结构示意图。
56.在一实施例中，所述控制机2的内部设有第二雷达组件8，且所述第二雷达组件8朝向所述托盘1的顶面。
57.可选地，控制机2内还可以设有打印纸9以及控制打印纸9转动的电机10。在识别物体类型及其重量后，可以根据物体类型确定物体单价，然后根据物体单价和重量计算物体价格，最后将物体价格打印在打印纸9上，再由电机10带动打印纸9转动，以供用户取走。
58.在其中一种可选的实施例中，第一雷达组件4和第二雷达组件8均可以采用雷达传感器。
59.具体地，雷达传感器可以采集中频时域雷达原始数据。在一应用方式中，可以采用的是60ghz的mimo雷达，具体可以包括3个发射通道4个接收通道,共计可以采集了12个通道的雷达中频原始数据，再通过12个通道的雷达中频原始数据进行雷达识别。
60.由于雷达传感器对震动比较敏感，为了减少电机10在转动时对雷达造成影响，参照图3，在一实施例中，可以让第二雷达组件8需远离电机10且靠近控制机2的壳体。在又一可选的实施例中，为了进一步避免电机10转动引起的振动影响雷达测量,可以在雷达与电机10中间安装减震垫等。
61.在考虑不同外观的智能电子秤的情况下,为了提高雷达发射的雷达波的穿透力，在放置雷达传感器的位置处，覆盖雷达传感器的控制机2的壳体可以为非金属材质,便于雷达波穿透进行商品材料探测识别。例如，可以采用所料或者有机物。
62.在本实施例中，本发明实施例提供了一种智能电子秤，其有益效果在于：本发明可以同时采集物体反射的雷达波信号以及物体图像，并利用雷达波信号和物体图像进行双重识别，以减少识别时环境因素的影响，提高识别的准确率。
63.本发明实施例还提供了一种结合雷达和摄像头的物体识别方法。
64.所述结合雷达和摄像头的物体识别方法可以适用于如上述实施例所述的智能电子秤。
65.参照图4，示出了本发明一实施例提供的一种结合雷达和摄像头的物体识别方法的流程示意图。
66.其中，作为示例的，所述结合雷达和摄像头的物体识别方法，可以包括：
67.s11、分别获取通过雷达采集的雷达检测数据以及通过摄像头采集的物体图像数据。
68.具体地，可以同时通过雷达采集雷达检测数据以及通过摄像头采集物体的图像数据。
69.其中，雷达检测数据可以是雷达向物体发射雷达波后，物体反射的雷达波。
70.s12、利用预设的机器学习分类算法确定所述雷达检测数据对应的雷达识别结果，以及利用预设的图像识别算法确定所述物体图像数据对应的图像识别结果。
71.可以利用预设的机器学习分类算法对雷达检测数据进行分类识别，从而得到对应的雷达识别结果，以及利用图像识别算法物体图像数据中对应的图像识别结果。
72.为了提高雷达识别的准确率，在一可选的实施例中，步骤s12可以包括以下子步骤：
73.子步骤s121、将所述雷达检测数据转换生成雷达图像。
74.其中，该雷达图像可以是关于雷达矩阵的图像。
75.在一实施例中，所述雷达检测数据包括多个通道的雷达中频原始数据。
76.参照上述实施例公开的内容，所使用的雷达可以是包含多个发射通道和多个接收通道的雷达，其可以按照一定的频率接收对应的数据，该数据为雷达的中频原始数据。
77.其中，作为示例的，子步骤s121可以包括以下子步骤：
78.子步骤s1211、将每个通道在一个调频周期内的雷达中频原始数据按纵向水平排列,得到二维的雷达采样数据矩阵。
79.子步骤s1212、分别对所述雷达采样数据矩阵的每一行和每一列进行傅立叶变换得到具有二维的距离角度的雷达图像。
80.参照图5，示出了本发明一实施例提供的二维的距离角度的雷达图像的示意图。
81.可以对不同通道的雷达数据在矩阵的行或列中排列开来，可以得到对应的雷达矩阵，最后再对矩阵中的每一行和每一列数据进行傅里叶变化(称之为2dfft，简称为fft)，从而得到具有二维的距离角度的雷达图像。
82.子步骤s122、将所述雷达图像输入至基于卷积神经网络的机器学习算法中得到雷达识别结果。
83.最后，可以将雷达图像输入至基于卷积神经网络的机器学习算法，由机器学习算法进行识别得到雷达识别结果。
84.其中，基于卷积神经网络的机器学习算法可以是用于预设经过神经训练的机器学习算法。
85.对应的物体图像数据可以利用常规的图像识别算法识别对应的物体类型。
86.s13、采用卡尔曼滤波方式融合所述雷达识别结果与所述图像识别结果得到物体识别结果。
87.在获得两个识别结果后，可以采用卡尔曼滤波方式融合雷达识别结果与图像识别结果，从而得到物体识别结果。
88.为了提高雷达识别的准确率，在一实施例中，所述方法还可以包括：
89.s21、标签所述图像识别结果得到标签图像。
90.s22、利用所述标签图像对所述基于卷积神经网络的机器学习算法进行模型优化训练。
91.具体地，可以利用物体图像数据对识别雷达检测数据的神经网络进行优化训练，可以使得两个识别结果更加接近，同时也可以提高识别的准确率。
92.在应用时，为了在识别出错后供用户纠正，在一实施例中，所述方法还可以包括：
93.s31、展示所述物体识别结果，并当所述物体识别结果与实际物体不符时，获取用户输入的纠正数据。
94.s32、采用所述纠正数据对所述雷达检测数据二次识别，得到并存储二次雷达识别结果。
95.在展示物体识别结果后，用户可以自行判断物体识别结果与实际物体是否相符，若两者不相符，用户可以输入纠正数据，该纠正数据为具体的物体类型。
96.在得到物体类型后，可以基于物体类型对基于卷积神经网络的机器学习算法进行优化训练，然后再使用训练后的基于卷积神经网络的机器学习算法对雷达检测数据进行第二次识别，最后再存储器第二次识别的识别结果。
97.在本实施例中，本发明实施例提供了一种结合雷达和摄像头的物体识别方法，其有益效果在于：本发明可以分别获取雷达采集的雷达检测数据以及摄像头采集的物体图像数据，并分别对两个数据进行物体识别，最后再将两个识别结果融合成识别得到物体识别结果，实现双重识别的效果，以提高识别的准确率。
98.本发明实施例还提供了一种结合雷达和摄像头的物体识别装置，参见图6，示出了本发明一实施例提供的一种结合雷达和摄像头的物体识别装置的结构示意图。
99.所述装置适用于如上述实施例所述的电子秤。
100.其中，作为示例的，所述结合雷达和摄像头的物体识别装置可以包括：
101.获取模块601，用于分别获取通过雷达采集的雷达检测数据以及通过摄像头采集的物体图像数据；
102.分别识别模块602，用于利用预设的机器学习分类算法确定所述雷达检测数据对应的雷达识别结果，以及利用预设的图像识别算法确定所述物体图像数据对应的图像识别结果；
103.融合识别模块603，用于采用卡尔曼滤波方式融合所述雷达识别结果与所述图像识别结果得到物体识别结果。
104.可选地，所述分别识别模块还用于：
105.将所述雷达检测数据转换生成雷达图像；
106.将所述雷达图像输入至基于卷积神经网络的机器学习算法中得到雷达识别结果。
107.可选地，所述雷达检测数据包括多个通道的雷达中频原始数据；
108.所述分别识别模块还用于：
109.将每个通道在一个调频周期内的雷达中频原始数据按纵向水平排列,得到二维的雷达采样数据矩阵；
110.分别对所述雷达采样数据矩阵的每一行和每一列进行傅立叶变换得到具有二维的距离角度的雷达图像。
111.可选地，所述装置还包括：
112.标签模块，用于标签所述图像识别结果得到标签图像；
113.优化训练模块，用于利用所述标签图像对所述基于卷积神经网络的机器学习算法进行模型优化训练。
114.可选地，在所述采用卡尔曼滤波方式融合所述雷达识别结果与所述图像识别结果得到物体识别结果的步骤后，所述装置还包括：
115.展示模块，用于展示所述物体识别结果，并当所述物体识别结果与实际物体不符时，获取用户输入的纠正数据；
116.二次识别模块，用于采用所述纠正数据对所述雷达检测数据二次识别，得到并存储二次雷达识别结果。
117.进一步的，本技术实施例还提供了一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述实施例所述的结合雷达和摄像头的物体识别方法。
118.进一步的，本技术实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如上述实施例所述的结合雷达和摄像头的物体识别方法。
119.以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。