一种识别目标商品的方法和装置与流程

1.本技术属于计算机技术领域，具体涉及一种识别目标商品的方法和装置。


背景技术：

2.随着人工智能的发展，尤其是深度学习的应用，使得通过计算机视觉技术智能的识别各式各样的称重商品，提高称重结算效率成为可能，最近几年出现了一种技术，即ai视觉识别秤，能够智能地识别和称重没有条形码的商品，并能够根据商品识别结果和称重的结果来便捷地进行商品结算。
3.然而，ai视觉识别秤要面对的就是，可能会遇到一些新增的、之前没有见过的商品，或者在每次打秤结算时会遇到各种商品的不同形态，如套袋、非套袋、一小包、一大包等各种情况。当这些情况出现时，ai视觉识别秤就会出现输出置信度很低的候选结果，或者输出错误的识别结果，甚至直接无法对商品进行识别的问题。此时就需要管理人员进行人工的干预输入，或者需要专门的技术人员对ai识别模型进行重新训练优化。
4.申请内容
5.本技术实施例的目的是提供一种识别目标商品的方法和装置，以解决现有技术无法准确识别商品的缺陷。
6.为了解决上述技术问题，本技术是这样实现的：
7.第一方面，提供了一种识别目标商品的方法，包括以下步骤：
8.对目标商品的视觉图像进行特征提取，得到所述视觉图像的特征向量；
9.根据所述特征向量，对系统设定的特征向量数据库进行检索，输出候选结果；
10.在所述候选结果符合预设条件的情况下，对所述目标商品的视觉图像进行增强变换，并将增强变换后的视觉图像保存至系统磁盘中；
11.对增强变换后的视觉图像进行特征提取，得到增强变换后的特征向量，将增强变换后的特征向量以及所述目标商品的编码和商品名合并保存至所述特征向量数据库中。
12.第二方面，提供了一种识别目标商品的装置，包括：
13.第一提取模块，用于对目标商品的视觉图像进行特征提取，得到所述视觉图像的特征向量；
14.输出模块，用于根据所述特征向量，对系统设定的特征向量数据库进行检索，输出候选结果；
15.变换模块，用于在所述候选结果符合预设条件的情况下，对所述目标商品的视觉图像进行增强变换，并将增强变换后的视觉图像保存至系统磁盘中；
16.第二提取模块，用于对增强变换后的视觉图像进行特征提取，得到增强变换后的特征向量，将增强变换后的特征向量以及所述目标商品的编码和商品名合并保存至所述特征向量数据库中。
17.本技术实施例在针对目标商品输出的候选结果符合预设条件的情况下，对目标商品的视觉图像进行增强变换，并将增强变换后的视觉图像的特征向量以及目标商品的编码
和商品名合并保存至特征向量数据库中，以用于下一次新的识别流程，能够增强识别系统的鲁棒性，避免同种商品的错误识别以及频繁地对识别模型进行离线优化，进而减少维护成本。
附图说明
18.图1是本技术实施例提供的一种识别目标商品的方法流程图；
19.图2是本技术实施例提供的一种识别目标商品的装置的结构示意图。
具体实施方式
20.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
21.为了解决上述ai识别秤在实际场景中的痛点，本技术实施例提出了一种有效的自主在线增量学习的技术方案，能够自主地对不同商品的不同形态、新增的商品、错误识别的商品进行在线增量式地学习，在经过一次或者若干次的学习之后，就可以输出置信度较高的正确结果，以此增强ai识别系统的鲁棒性和适应性。
22.本技术实施例的重点是对商品不同的和未见过的形态、新增的商品、错误识别的商品进行在线增量式地学习。具体地，对置信度较低的正确候选结果进行增强学习，对于置信度较高的错误结果进行抑制学习，对于新增的商品也能在线增量进行学习，以此增强识别系统的鲁棒性，避免后续的使用过程中高概率地对同种商品进行错误的识别。
23.下面结合附图，通过具体的实施例及其应用场景对本技术实施例提供的一种识别目标商品的方法进行详细地说明。
24.如图1所示，为本技术实施例提供的一种识别目标商品的方法流程图，该方法包括以下步骤：
25.步骤101，对目标商品的视觉图像进行特征提取，得到所述视觉图像的特征向量。
26.其中，目标商品对应的正确的识别结果为目标结果。
27.步骤102，根据所述特征向量，对系统设定的特征向量数据库进行检索，输出候选结果。
28.具体地，可以对所述特征向量与所述特征向量数据库中的特征进行距离计算或者相似度计算，输出相似度最高的多个候选项作为候选结果。
29.本实施例中，在根据所述特征向量，对系统设定的特征向量数据库进行检索，输出候选结果之后，还包括：
30.将目标结果的被选中次数增加1。
31.以及，
32.在所述候选结果包括目标结果，但所述目标结果在所述候选结果中的排序不是第一位的情况下，将所述候选结果中位于所述目标结果之前的候选项的错误识别次数增加1。
33.步骤103，在所述候选结果符合预设条件的情况下，对所述目标商品的视觉图像进行增强变换，并将增强变换后的视觉图像保存至系统磁盘中。
34.其中，候选结果符合预设条件，具体包括：
35.所述候选结果包括目标结果，所述目标结果在所述候选结果中的排序为第一位，但所述目标结果的置信度低于第一预设值；
36.或者，
37.所述候选结果包括目标结果，但所述目标结果在所述候选结果中的排序不是第一位；
38.或者，
39.所述候选结果不包括目标结果。
40.步骤104，对增强变换后的视觉图像进行特征提取，得到增强变换后的特征向量，将增强变换后的特征向量以及所述目标商品的编码和商品名合并保存至所述特征向量数据库中。
41.本实施例中，在对增强变换后的视觉图像进行特征提取，得到增强变换后的特征向量，将增强变换后的特征向量以及所述目标商品的编码和商品名合并保存至所述特征向量数据库中之后，还包括：
42.根据加载合并后的特征向量数据库，执行下一次的商品识别流程，确定多个候选项；
43.若所述多个候选项中的第一候选项的被选中次数大于第二预设值，且所述第一候选项的错误识别次数值小于第三预设值，对所述第一候选项的置信度进行增强；
44.若所述多个候选项中的第二候选项的被选中次数小于第四预设值，且所述第一候选项的错误识别次数值大于第五预设值，对所述第一候选项的置信度进行抑制。
45.本技术实施例在针对目标商品输出的候选结果符合预设条件的情况下，对目标商品的视觉图像进行增强变换，并将增强变换后的视觉图像的特征向量以及目标商品的编码和商品名合并保存至特征向量数据库中，以用于下一次新的识别流程，能够增强识别系统的鲁棒性，避免同种商品的错误识别以及频繁地对识别模型进行离线优化，进而减少维护成本。
46.在本技术实施例中，使用的识别方法为图像检索的技术，即系统设有一个特征向量数据库，进行检索时将目标特征与特征向量数据库进行特征与特征之间进行距离计算或者相似度计算，并将最相似的前若干个结果作为推荐结果。
47.具体地，对于要进行识别的商品视为目标商品，识别过程中获取目标商品的视觉图像，并利用系统中的ai识别模型对该视觉图像进行推理，获取其相应的特征向量，然后将该特征向量与系统设定的特征向量数据库进行检索计算，输出相似度较高的前n项作为候选结果。
48.进一步地，将在识别的候选结果中，正确的目标结果排序在第一位但置信度较低、正确的目标结果候选不在第一位排序、没有目标商品的结果这几种情况下的对应的目标商品(包括其数据增强后)的特征向量自动增量地新增到系统中、图像自动保存在系统磁盘中、选中记录和识别错误记录存在系统数据库中，下一次识别时基于增量后的数据进行检索识别或推荐候选结果。
49.具体地，增量学习的方法流程包括以下步骤：
50.1)核查输出的候选结果，程序自主进入在线增量学习的几种情况：
51.a)在识别的候选结果中，正确的目标结果排序在第一位但置信度较低；
52.b)在识别的候选结果中，正确的目标结果候选不在第一位排序；
53.c)在识别的候选结果中，没有目标商品的结果，则视为错误识别或者新增商品；
54.2)对以上叙述的几种情况，将当前识别目标的视觉图像进行如旋转、翻转、色彩变换等数据增强，并保存至系统磁盘中；
55.3)将上述增强变换后的图像集通过对应的ai模型进行特征提取；
56.4)将所有的特征向量进行差异化判断后处理，剔除差异化较小的项；
57.5)将后处理的特征向量以及对应的编码和商品名合并保存至系统特征向量数据库中；
58.6)将目标商品被选中次数的记录增加1；另外对于上述情况2)中错误的被排序在前的候选结果，将其的错误识别次数记录增加1；
59.7)当进行下一次新的识别流程时，重新加载合并后的特征向量数据库；
60.8)对于下一次新的识别流程的输出候选结果，根据其被选中次数和错误识别次数综合判断，自主处理其输出的置信度：对于被选中次数较高且错误识别次数值较低的候选进行置信度增强，对于被选中次数值较低的且错误识别数值较高的进行置信度抑制。
61.本技术实施例针对商品不同的和未见过的形态、新增的商品、错误识别的商品进行在线增量式地学习，并在进行增量学习之后，系统在进行下一次新的识别流程时，可以重新加载合并后的特征向量数据库，使其在对目标商品进行识别时，输出的候选结果拥有更正确的排序和置信度，能够增强识别系统的鲁棒性，避免同种商品的错误识别，减少ai识别秤使用过程中的人工干预操作，避免频繁地对识别模型进行离线优化，减少产品的维护成本。
62.本技术实施例还提供一种识别目标商品的装置，如图2所示，包括：
63.第一提取模块210，用于对目标商品的视觉图像进行特征提取，得到所述视觉图像的特征向量。
64.其中，目标商品对应的正确的识别结果为目标结果。
65.输出模块220，用于根据所述特征向量，对系统设定的特征向量数据库进行检索，输出候选结果。
66.具体地，输出模块220，具体用于对所述特征向量与所述特征向量数据库中的特征进行距离计算或者相似度计算，输出相似度最高的多个候选项作为候选结果。
67.变换模块230，用于在所述候选结果符合预设条件的情况下，对所述目标商品的视觉图像进行增强变换，并将增强变换后的视觉图像保存至系统磁盘中。
68.其中，所述候选结果符合预设条件，具体包括：
69.所述候选结果包括目标结果，所述目标结果在所述候选结果中的排序为第一位，但所述目标结果的置信度低于第一预设值；
70.或者，
71.所述候选结果包括目标结果，但所述目标结果在所述候选结果中的排序不是第一位；
72.或者，
73.所述候选结果不包括目标结果。
74.第二提取模块240，用于对增强变换后的视觉图像进行特征提取，得到增强变换后的特征向量，将增强变换后的特征向量以及所述目标商品的编码和商品名合并保存至所述特征向量数据库中。
75.进一步地，上述装置，还包括：
76.第一更新模块，用于在根据所述特征向量，对系统设定的特征向量数据库进行检索，输出候选结果之后，将目标结果的被选中次数增加1。
77.第二更新模块，用于在所述候选结果包括目标结果，但所述目标结果在所述候选结果中的排序不是第一位的情况下，将所述候选结果中位于所述目标结果之前的候选项的错误识别次数增加1。
78.识别模块，用于根据加载合并后的特征向量数据库，执行下一次的商品识别流程，确定多个候选项；
79.增强模块，用于若所述多个候选项中的第一候选项的被选中次数大于第二预设值，且所述第一候选项的错误识别次数值小于第三预设值，对所述第一候选项的置信度进行增强；
80.抑制模块，用于若所述多个候选项中的第二候选项的被选中次数小于第四预设值，且所述第一候选项的错误识别次数值大于第五预设值，对所述第一候选项的置信度进行抑制。
81.本技术实施例在针对目标商品输出的候选结果符合预设条件的情况下，对目标商品的视觉图像进行增强变换，并将增强变换后的视觉图像的特征向量以及目标商品的编码和商品名合并保存至特征向量数据库中，以用于下一次新的识别流程，能够增强识别系统的鲁棒性，避免同种商品的错误识别以及频繁地对识别模型进行离线优化，进而减少维护成本。
82.需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
83.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本技术各个实施例所述的方法。
84.上面结合附图对本技术的实施例进行了描述，但是本技术并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本技术的启示下，在不脱离本技术宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本技术的保护之内。