智能秤的制作方法

1.本发明涉及电子秤技术领域，具体提供一种智能秤。


背景技术：

2.目前，在超市等购物场所开始使用智能秤，把买好的蔬菜或者水果放在秤上，智能秤上的摄像头会采集对应的图片，送入图像识别模型进行自动识别类别并找到单价，然后根据重量，自动计算出价格。
3.然而，上述模型需要对水果或蔬菜等物品进行训练，才能保证模型能够进行正确的识别。通常情况下，需要在服务器端集中进行训练，然后将训练好的模型算法置入各个售货店的智能秤中。然而，售货店总会增加新的水果或蔬菜，而这些没有训练过的水果或蔬菜，目前需要人工识别种类进而计算价格，效率不高。
4.虽然对于没有训练过的图像，可以通过人工添加类别(打标签)，并将人工添加的类别在服务器端作为补充训练集训练图像分类模型，之后再更新智能秤上的算法。然而，当在实际应用时，并不能立即对模型进行补充训练，因此，当前电子秤的识别效率较低。
5.相应地，本领域需要一种新的智能秤来解决上述问题。


技术实现要素：

6.为了克服上述缺陷，提出了本发明，以提供解决或至少部分地解决上述技术问题。本发明提供了一种智能秤。
7.在第一方面，本发明提供一种智能秤，所述智能秤包括秤本体、摄像头、称重装置、显示屏、处理器和存储装置，其中所述处理器被配置为执行下述方法：获取所述摄像头采集的放置在所述秤本体上的待识别物品图像；将所述待识别物品图像输入图像分类模型，输出第一识别结果和置信度；在所述置信度中的最大概率小于第一预设值的情况下，提取所述待识别物品图像对应的特征向量；基于所述特征向量确定第二识别结果。
8.在一个实施方式中，基于所述特征向量确定第二识别结果，包括：判断是否存在样本向量；若是，确定所述特征向量和样本向量之间的相似度，并在所述相似度大于第二预设值的情况下，基于所述样本向量确定第二识别结果；若否，输出提示信息，并基于所述提示信息获得第二识别结果。
9.在一个实施方式中，在所述相似度大于第二预设值的情况下，基于所述样本向量确定第二识别结果，包括：
10.在仅有一个相似度大于第二预设值的情况下，将所述相似度对应样本向量的类别作为第二识别结果；
11.在存在多个相似度大于第二预设值的情况下，将最大相似度对应特征向量的类别作为第二识别结果。
12.在一个实施方式中，确定所述特征向量和样本向量之间的相似度，包括：基于所述特征向量和样本向量之间的距离确定所述特征向量和样本向量之间的相似度。
13.在一个实施方式中，通过下述步骤确定所述第二预设值：
14.对包含第一类别下相同类别物品的训练图像进行相似度匹配，得到第一相似度，其中所述第一类别为经过所述图像分类模型训练得到的类别；
15.对包含第一类别下不同类别物品的训练图像进行相似度匹配，得到第二相似度；
16.对包含第二类别下相同类别物品的训练图像进行相似度匹配，得到第三相似度，其中所述第二类别为未经过所述图像分类模型训练得到的类别；
17.对包含第二类别下不同类别物品的训练图像进行相似度匹配，得到第四相似度；
18.基于所述第一相似度、第二相似度、第三相似度和第四相似度确定所述第二预设值。
19.在一个实施方式中，所述处理器进一步被配置为：
20.在所述置信度中的最大概率大于第三预设值的情况下，将所述最大概率对应的第一识别结果作为第二识别结果；
21.在所述置信度中的最大概率大于第一预设值且小于第三预设值的情况下，基于所述置信度中前预设数量的概率确定第二识别结果。
22.在一个实施方式中，所述图像分类模型包括cnn模型和convnext模型中的任意一种，所述cnn模型或convnext模型至少包括卷积层和池化层。
23.在一个实施方式中，提取所述待识别物品图像对应的特征向量，包括：基于所述池化层提取所述待识别物品图像对应的特征向量。
24.在一个实施方式中，所述处理器进一步被配置为：获取所述称重装置采集的物品重量；基于所述物品重量和第二识别结果对应的单价确定金额。
25.在一个实施方式中，所述处理器进一步被配置为：将所述金额输出至显示屏进行显示。
26.本发明上述一个或多个技术方案，至少具有如下一种或多种有益效果：
27.本发明中的智能秤，具体通过智能秤中的处理器在置信度较低时，根据待识别物品对应的特征向量与预设向量库中的样本向量进行相似度匹配，从而对于没有经过模型训练的物品，也能够正确识别其类别，提高了智能秤的识别效率和识别精度。
附图说明
28.参照附图，本发明的公开内容将变得更易理解。本领域技术人员容易理解的是：这些附图仅仅用于说明的目的，而并非意在对本发明的保护范围组成限制。此外，图中类似的数字用以表示类似的部件，其中：
29.图1是根据本发明的一个实施例的智能秤的主要结构示意图；
30.图2是根据本发明的一个实施例的智能秤的结构连接示意图；
31.图3是根据本发明的一个实施例的convnext模型的结构示意图；
32.图4是根据本发明的一个实施例的智能秤的处理器执行图像识别方法的完整流程示意图。
具体实施方式
33.下面参照附图来描述本发明的一些实施方式。本领域技术人员应当理解的是，这
些实施方式仅仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。
34.在本发明的描述中，“模块”、“处理器”可以包括硬件、软件或者两者的组合。一个模块可以包括硬件电路，各种合适的感应器，通信端口，存储器，也可以包括软件部分，比如程序代码，也可以是软件和硬件的组合。处理器可以是中央处理器、微处理器、图像处理器、数字信号处理器或者其他任何合适的处理器。处理器具有数据和/或信号处理功能。处理器可以以软件方式实现、硬件方式实现或者二者结合方式实现。非暂时性的计算机可读存储介质包括任何合适的可存储程序代码的介质，比如磁碟、硬盘、光碟、闪存、只读存储器、随机存取存储器等等。术语“a和/或b”表示所有可能的a与b的组合，比如只是a、只是b或者a和b。术语“至少一个a或b”或者“a和b中的至少一个”含义与“a和/或b”类似，可以包括只是a、只是b或者a和b。单数形式的术语“一个”、“这个”也可以包含复数形式。
35.目前传统的智能秤可以通过人工添加类别(打标签)，并将人工添加的类别在服务器端作为补充训练集训练图像分类模型，之后再更新智能秤上的算法。然而，当在实际应用时，并不能立即对模型进行补充训练，因此，当前智能秤的识别效率较低。
36.为此，本技术提出了一种智能秤，具体通过智能秤中的处理器在置信度较低时，根据待识别物品对应的特征向量与预设向量库中的样本向量进行相似度匹配，从而对于没有经过模型训练的物品，也能够正确识别其类别，提高了智能秤的识别效率和识别精度。
37.参阅附图1，图1是根据本发明的一个实施例的智能秤的主要结构示意图。
38.如图1所示，本发明实施例中的智能秤主要包括秤本体11、摄像头12、称重装置13、显示屏14、处理器15和存储装置16。
39.示例性地，智能秤中的各个部件之间的连接关系具体可以如图2所示，智能秤包括秤本体11、摄像头12、称重装置13、显示屏14、处理器15(图2中未示意)和存储装置16(图2中未示意)。智能秤还包括发光器件3、支撑杆5、条码机8和封口机9。其中称重装置13设于秤本体11的顶部上并用于对物品称重，显示屏14设于秤本体11表面上，支撑杆5的底部设于秤本体11上，支撑杆5的顶部往秤本体11的顶部的上方延伸出来。发光器件3设置于支撑杆5的顶部上，其用于对称重装置13进行照明，摄像头12设于支撑杆5的顶部上，其用于对称重装置13上的物品进行摄像；处理器15用于识别摄像头12拍摄的放置在称重装置13上的物品图像，以及根据识别出的物品、称重装置13对物品的称重与物品的预设的单位重量价格生成对应的结算信息，并将物品价格输出在所述显示屏14显示。
40.其中处理器15被配置为执行下述步骤s1至步骤s4。
41.步骤s1：获取摄像头采集的放置在秤本体上的待识别物品图像。
42.具体来说，这里的待识别物品可以是水果或者蔬菜。在水果或蔬菜放在智能秤上后，智能秤自带的摄像头12对其进行拍照，从而获得待识别物品图像。
43.步骤s2：将待识别物品图像输入图像分类模型，输出第一识别结果和置信度。
44.在一个具体实施方式中，所述图像分类模型包括cnn模型和convnext模型中的任意一种，所述cnn模型或convnext模型至少包括卷积层和池化层。
45.将摄像头拍摄的待识别物品图像输入训练好的图像分类模型后，输出第一分类结果和置信度。其中第一分类结果是多种类别的集合。置信度可以包括多个由高到低依次排列的概率，每一个概率对应一种类别。
46.步骤s3：在所述置信度中的最大概率小于第一预设值的情况下，提取所述待识别
物品图像对应的特征向量。
47.第一预设值是置信度阈值，可以预先通过实验得到。在该实施例中，第一预设值取60％。
48.在一个具体实施方式中，提取待识别物品图像对应的特征向量，包括：基于池化层提取待识别物品图像对应的特征向量。
49.在该步骤中，首先判断置信度中的最大概率与第一预设值的之间关系，具体在置信度中的最大概率小于第一预设值的情况下，提取待识别物品图像对应的特征向量，具体是将图像识别模型的池化层输出的特征向量提取出来作为待识别物品图像对应的特征向量。
50.在置信度中的最大概率不小于第一预设值的情况下，基于下述步骤确定第二识别结果。
51.在一个具体实施方式中，所述方法还包括：在所述置信度中的最大概率大于第三预设值的情况下，将所述最大概率对应的第一识别结果作为第二识别结果；在所述置信度中的最大概率大于第一预设值且小于第三预设值的情况下，基于所述置信度中前预设数量的概率确定第二识别结果。
52.第三预设值为置信度阈值，也可以预先通过实验得到。在该实施例中，第三预设值取80％。
53.示例性地，在最大概率值大于80％时，直接将最大概率对应的类别作为第二识别结果输出。在最大概率值位于60％至80％的区间内时，由于概率值是按照由高到低的顺序排列的，此时可以在智能秤的显示屏上显示前n个概率对应的类别，例如前5个，最后由使用智能秤的用户从这5个类别中选择其中的一个作为第二识别结果。
54.步骤s4：基于所述特征向量确定第二识别结果。
55.具体通过智能秤中的处理器在置信度较低时，根据待识别物品对应的特征向量与预设向量库中的样本向量进行相似度匹配，从而对于没有经过模型训练的物品，也能够正确识别其类别，提高了智能秤的识别效率和识别精度。
56.在一个具体实施方式中，基于所述特征向量确定第二识别结果，包括：判断是否存在样本向量；若是，确定所述特征向量和样本向量之间的相似度，并在所述相似度大于第二预设值的情况下，基于所述样本向量确定第二识别结果；若否，输出提示信息，并基于所述提示信息获得第二识别结果。
57.在一个具体实施方式中，确定所述特征向量和样本向量之间的相似度，包括：基于所述特征向量和样本向量之间的距离确定所述特征向量和样本向量之间的相似度。
58.具体来说，若预设向量库中存在样本向量，首先基于特征向量和样本向量之间的距离确定特征向量和样本向量之间的相似度，具体可通过计算特征向量和样本向量之间的距离来确定特征向量和样本向量之间的相似度。接着判断相似度是否大于第二预设值，第二预设值为相似度阈值，具体在相似度大于第二预设值的情况下，根据样本向量确定第二识别结果。具体在相似度不大于第二预设值的情况下，可以在显示屏上呈现自定义添加新类别的提示信息，用户基于该提示信息输入类别，从而得到第二识别结果。
59.其中在初始时，预设向量库中为空，第一个小于60％的特征向量直接默认为新类别的向量，则在显示屏上呈现自定义添加新类别提示。同时将该特征向量保存在预设向量
库中，以作为样本向量；对于第二个及之后的小于60％的特征向量，因为预设向量库中已逐渐积累了比较对象，从而能够进行相似度匹配。
60.在一个具体实施方式中，在所述相似度大于第二预设值的情况下，基于所述样本向量确定第二识别结果，包括：在仅有一个相似度大于第二预设值的情况下，将所述相似度对应样本向量的类别作为第二识别结果；在存在多个相似度大于第二预设值的情况下，将最大相似度对应特征向量的类别作为第二识别结果。
61.具体来说，通过计算预设向量库中的所有样本向量与特征向量之间的相似度，并判断仅有一个相似度大于第二预设值时，则将该相似度对应样本向量的类别作为第二识别结果。当有多个相似度大于第二预设值时，将最大相似度对应特征向量的类别作为第二识别结果。
62.处理器15被配置为首先获取包含待识别物品的图像，接着将待识别物品图像输入图像分类模型，输出待识别物品对应的第一识别结果和置信度，其次在置信度中的最大概率小于第一预设值的情况下，提取待识别物品图像对应的特征向量，最后基于特征向量确定第二识别结果。如此，减少了对图像分类模型的多次训练，提高了对待识别物品的识别效率。
63.在一个具体实施方式中，通过下述步骤确定所述第二预设值：对包含第一类别下相同类别物品的训练图像进行相似度匹配，得到第一相似度，其中所述第一类别为经过所述图像分类模型训练得到的类别；对包含第一类别下不同类别物品的训练图像进行相似度匹配，得到第二相似度；对包含第二类别下相同类别物品的训练图像进行相似度匹配，得到第三相似度，其中所述第二类别为未经过所述图像分类模型训练得到的类别；对包含第二类别下不同类别物品的训练图像进行相似度匹配，得到第四相似度；基于所述第一相似度、第二相似度、第三相似度和第四相似度确定所述第二预设值。
64.第一类别为已有类别，已有类别指的是由图像分类模型经过训练学习而得到的类别称为已有类别(模型知道)。第二类别为未知类别，未知类别指的是未经图像分类模型训练学习而得到的类别称为未知类别(模型不知道)。
65.具体来说，在确定第二预设值的具体过程中，首先获取测试图像，测试图像可以是历史图像数据，并对测试图像进行相似度匹配测试，其中相似度匹配测试就是计算相似度的过程，具体包括：
66.对于已有类别的相同类别：取多对已有类别的图像进行相似度匹配测试，其中每对图像包括同一类别的两张图像，例如两张土豆的图片。
67.对于已有类别的不同类别：取多对已有类别的图像进行相似度匹配测试，其中每对图像包括不同类别的两张图像，例如一张图像包括土豆、另一张图像包括荷兰豆。
68.对于未知类别的相同类别：取多对未知类别的图像进行相似度匹配测试，其中每对图像包括同一类别的两张图像(通过人眼匹配得到)，例如两张红豆的图片。
69.对于未知类别的不同类别：取多对未知类别的图像进行相似度匹配测试，其中每对图像包括不同类别的两张图像(通过人眼匹配得到)，例如一张图像包括红豆、一张图像包括黑玉米。
70.最后，采用大量的图像对进行相似度匹配测试后，确定对于相似度小于60％，就认为是不同类别，对于相似度大于60％，认为是相同类别。因此，本技术中的相似度阈值取
60％。
71.尽管前述步骤是关于未知类别图像的相似度匹配，但在得到第二预设值的步骤中仍需要对已知类别的图像进行相似度匹配，这是因为在实际情况中，需要不停地把未知类别图像的特征向量添加到预设向量库中，然后在模型更新的时候，这些未知类别的图像就会成为之后模型的已有类别，把已有类别和未知类别都做相似度匹配，如此，不会因为图像是已有类别还是未知类别而影响相似度匹配测试时得到的相似度阈值的准确性，也就是说相似度阈值的得出不会受到已有类别还是未知类别的影响，确保了相似度阈值的准确性，有利于提高相似度匹配过程中的匹配精度。
72.采用相似度匹配的方法，可以把新的类别自定义添加到总类别中。在之后继续做相似度匹配，这样就可以不停地增加新的类别，不用多次训练模型，方便快捷实用高效。当预设向量库的规模大到模型更新的标准时，再将其作为补充训练集来训练模型。这样的一个过程其实就是在不断地测试各种图像数据，并在模型已定的情况下，不用重新训练，依旧可以正确分类未知类别的数据，极大地提高了工作效率并节省了工作时间。如果特征向量与样本向量之间的相似度高于60％，说明目标对象是在已有类别中，如相似度低于60％，说明目标对象是新的类别，此时，自定义添加新的类别，下次再遇到相似度阈值低于60％的图像，就可以判断出来是否是同一个新的类别，如果是同一个新的类别，则直接可以识别出来，如果是不同的新类别，那么再次自定义添加新的类别。这样的过程其实是在不断地测试各种图像数据，并在模型已定的情况下，不用重新训练，依旧可以正确分类未知类别的数据，极大地提高了识别效率并节省了工作时间。
73.在一个具体实施方式中，可以采用convnext模型作为图像分类模型的示例，对包含目标对象的待识别图像进行识别。convnext模型的具体结构如图3所示，具体包括六个部分，第一部分由一个卷积核大小和步长均为4的2d卷积层(conv2d)和归一化层(layer norm)组成。第二部分由逆瓶颈层(convnext block)组成。第三部分、第四部分和第五部分均由降采样层(downsample)和逆瓶颈层(convnext block)组成。第六部分由最大全局平均池化层(globe avg pooling)、归一化层(layer norm)和全连接层(linear)组成。
74.其中逆瓶颈层(convnext block)包括三个部分，其中第一部分由深度卷积层(depthwise conv2d)和归一化层(layer norm)组成。第二部分由一个卷积核大小和步长均为1的2d卷积层(conv2d)组成。第三部分由一个卷积核大小和步长均为1的2d卷积层(conv2d)、通道缩放层(layer scale)和随机深度减小层(drop path)组成。随机深度减小层(drop path)的作用是将convnext模型中的多分支结构随机删除。其中在逆瓶颈层(convnext block)的第二部分和第三部分的两个2d卷积层之间添加gelu激活函数。
75.降采样层(downsample)由归一化层(layer norm)和一个卷积核大小以及步长均为2的2d卷积层(conv2d)组成。
76.现有场景中存在物品上套袋、光强、光弱、不同颜色的光等情况。由于convnext模型存在多个不同维度的卷积层，将其作为图像分类模型时，相较于cnn模型，convnext模型能够充分提取待识别物品图像的特征，达到精细分类的要求，从而提高了识别结果的精度。
77.具体在训练convnext模型的过程，首先收集训练集数据，经过标注之后，输入convnext网络结构中，从开始的卷积层走到最后的全连接层，一遍一遍地迭代，保存成模型，经过多次训练，最后以准确率最高的模型为主。
78.在模型的测试过程中，用训练出的最优模型做测试标准，测试过程中分为两种情况，一种是传入已有类别的物品图像，另一种是传入新类别的物品图像。当测试数据是已有类别，测试结果会返回这个图像的类别以及此类别的置信度，置信度高于80％，确定是这个类别。当置信度在60％-80％之间，返回5个置信度最大的类别供用户选择(模糊选择)。当置信度低于60％，确定不是已有类别。
79.图4为智能秤的处理器执行图像识别方法的完整流程示意图。首先，利用图像分类模型对摄像头获取到的待识别物品图像进行识别，输出第一分类结果和置信度。接着判断置信度中的最大概率是否大于第一阈值(例如80％)，若是，则将最大概率对应的识别结果作为最终识别结果输出；若否，接着判断最大概率是否大于第二阈值(例如60％)且小于第一阈值(例如80％)。在最大概率大于第二阈值且小于第一阈值时，输出置信度中前n个最大概率分别对应的分类结果，并由用户从分类结果中选择一个作为最终的分类结果。当分类结果小于第二阈值时，获取图像识别模型的池化层输出的特征向量，并判断预设向量库中是否存在样本向量。在预设向量库中存在样本向量的情况下，计算特征向量与样本向量之间的相似度，并在相似度大于相似度阈值的情况下，将该相似度对应样本向量的类别作为最终识别结果输出。当预设向量库中不存在样本向量时，在显示屏上呈现自定义添加新类别的提示信息，由用户根据该提示信息输入新类别从而得到最终识别结果。
80.本技术中的智能秤，通过相似度匹配的方法可以减少图像分类模型的训练并对物品进行正确识别，如此，大大减少了人工操作，省时省力，在使用的过程中，提高了工作效率，提升了用户体验。
81.在一个具体实施方式中，所述处理器进一步被配置为：获取所述称重装置采集的物品重量；基于所述物品重量和第二识别结果对应的单价确定金额。
82.处理器在识别物品的类别之后，将其呈现在显示屏上。处理器进一步获取存储装置16中存储的该物品的单价信息，以及获取由称重装置13采集的物品重量，进而计算该物品的金额。
83.在一个具体实施方式中，所述处理器进一步被配置为：将所述金额输出至显示屏进行显示。
84.计算出金额之后，将其输出至显示屏显示，以方便用户结账。
85.至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。