一种物品识别处理方法和装置与流程

1.本发明涉及计算机技术领域，尤其涉及一种物品识别处理方法和装置。


背景技术：

2.在航空/地铁等交通点、仓库分拣/仓储物流等运输点，需对货运物品或托运物品进行安全检查。安检机识别是用于安防的重要计算机视觉技术，通过安检机x光对物品进行不开箱的安全检查。使用视频数据(视觉技术)自主辅导安检人员进行识别。
3.现有安检机图像识别技术已较为成熟，如目标检测、图像分割等，直接在图像中寻找有无目标物品。在实现本发明的过程中，发明人发现现有技术至少存在如下问题：
4.1)当包裹包括多个物品时，如填充物、附赠物品等，若仍采用现有目标检测和简单的直接分类方式，难以对所有物品的类别进行准确分类，尤其识别到多个相近概率时，最终导致判断效果不理想。
5.2)不同业务场景设置的目标物品类别不同，如航空和火车，此时需添加或减少目标物品类别，然后再重新打标、训练整体模型，人工成本高，存在重复计算消耗问题。


技术实现要素：

6.有鉴于此，本发明实施例提供一种物品识别处理方法和装置，至少能够解决现有识别效率和准确率低、针对不同业务场景需重新构建模型的现象。
7.为实现上述目的，根据本发明实施例的一个方面，提供了一种物品识别处理方法，包括：
8.从目标图像中检测出包含包裹的图片，提取所述图片的图片特征；
9.将所述图片特征分别输入到多个弱分类器中进行目标物品识别，得到每个弱分类器的识别结果；其中，一个弱分类器仅识别一个类别的目标物品；
10.响应于至少一个弱分类器的识别结果为预设值，确定所述包裹中存在目标物品。
11.可选的，所述从目标图像中检测出包含包裹的图片，还包括：
12.若所述目标图像中的多个包裹之间存在遮挡关系或包含关系，则计算遮挡区域或包含区域的面积；
13.响应于所述面积未超出预设面积阈值，对所述多个包裹所处区域进行拆分，得到每个包裹的图片，以单独对每个包裹进行物品识别；或
14.响应于所述面积超出所述预设面积阈值，得到包含所述多个包裹的图片，以同时对所述多个包裹进行物品识别。
15.可选的，在将所述图片特征分别输入到多个弱分类器中进行目标物品识别之前，还包括：
16.确定与当前识别场景对应的物品类别，从弱分类器集中筛选出与每个物品类别对应的弱分类器。
17.可选的，在所述从目标图像中检测出包含包裹的图片之前，还包括：
18.获取包含单个包裹的图片，接收对每个图片中的物品进行类别打标操作；
19.确定打标目标类别的图片，将所确定的图片分为第一组，剩余未打标所述目标类别的图片分为第二组；
20.提取每个图片的图片特征，将所述第一组的图片和每个图片的图片特征、所述第二组的图片和每个图片的图片特征，输入到与所述目标类别对应的目标弱分类器中进行训练，得到训练后的目标弱分类器；其中，所述目标弱分类器用于识别所述目标类别的目标物品。
21.为实现上述目的，根据本发明实施例的另一方面，提供了一种物品识别处理装置，包括：
22.提取模块，用于从目标图像中检测出包含包裹的图片，提取所述图片的图片特征；
23.识别模块，用于将所述图片特征分别输入到多个弱分类器中进行目标物品识别，得到每个弱分类器的识别结果；其中，一个弱分类器仅识别一个类别的目标物品；
24.确定模块，用于响应于至少一个弱分类器的识别结果为预设值，确定所述包裹中存在目标物品。
25.可选的，所述提取模块，还用于：
26.若所述目标图像中的多个包裹之间存在遮挡关系或包含关系，则计算遮挡区域或包含区域的面积；
27.响应于所述面积未超出预设面积阈值，对所述多个包裹所处区域进行拆分，得到每个包裹的图片，以单独对每个包裹进行物品识别；或
28.响应于所述面积超出所述预设面积阈值，得到包含所述多个包裹的图片，以同时对所述多个包裹进行物品识别。
29.可选的，还包括筛选模块，用于：确定与当前识别场景对应的物品类别，从弱分类器集中筛选出与每个物品类别对应的弱分类器。
30.可选的，还包括训练模块，用于：获取包含单个包裹的图片，接收对每个图片中的物品进行类别打标操作；
31.确定打标目标类别的图片，将所确定的图片分为第一组，剩余未打标所述目标类别的图片分为第二组；
32.提取每个图片的图片特征，将所述第一组的图片和每个图片的图片特征、所述第二组的图片和每个图片的图片特征，输入到与所述目标类别对应的目标弱分类器中进行训练，得到训练后的目标弱分类器；其中，所述目标弱分类器用于识别所述目标类别的目标物品。
33.为实现上述目的，根据本发明实施例的再一方面，提供了一种物品识别处理电子设备。
34.本发明实施例的电子设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现上述任一所述的物品识别处理方法。
35.为实现上述目的，根据本发明实施例的再一方面，提供了一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现上述任一所述的物品识别处理方法。
36.根据本发明所述提供的方案，上述发明中的一个实施例具有如下优点或有益效
果：从目标图像中检测出包裹图片，提取包裹图片中的图片特征，将图片特征分别输入到多个弱分类器中，以分别判断图片中是否存在相应类别的目标物品，以此提高安检准确率。
37.上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
附图说明
38.附图用于更好地理解本发明，不构成对本发明的不当限定。其中：
39.图1是根据本发明实施例的一种物品识别处理方法的主要流程示意图；
40.图2是根据本发明实施例的一种训练弱分类器方法的流程示意图；
41.图3是根据本发明实施例的一种物品识别处理装置的主要模块示意图；
42.图4是本发明实施例可以应用于其中的示例性系统架构图；
43.图5是适于用来实现本发明实施例的移动设备或服务器的计算机系统的结构示意图。
具体实施方式
44.以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
45.此处对现有技术进行详细描述：
46.现有技术都是输入包含包裹的图片——图片特征提取——唯一的弱分类器——识别结果。其大体流程相似，多数会在最后弱分类器上进行结构调整优化，如加入attention注意结构，但并未对整体的结构层面进行修改。
47.1)实际操作中，一张图片内往往包含多种物品，如电池、电动车、车轮、遥控器，由于x光透视图的关系，难以对每一个部分都进行分割，如将遥控器的部分切割出来作为遥控器的训练数据，且其中包含的电池会干扰弱分类器对于遥控器的识别。另外，当包裹中包含的物品类别数量过多时，难以进行几万种物品的数据收集、分类打标操作。统观上述描述可知，难以对所有物品的类别进行准确分类。
48.另外，使用单一分类方法处理多个类别时，会使用概率归一化的函数softmax对多个类别进行均衡，因而对于多个概率相近的物品也难以做出较为准确的判断。例如判断是锂电池的概率为0.45、判断是金属刀具的概率为0.42，两者概率接近因而难以断定具体属于哪种物品，且两者均小于报警阈值0.5，故不会触发报警提醒，但实际情况却是难以确定其具体属于哪一类物品，但是对于非目标物品的置信度可能很低，需要触发报警。
49.2)如果仅仅是对目标物品进行分类，而将非目标物品全部归为一类，这种方式会导致样本的不平衡，有时非目标物品的样本数量相对于目标物品的样本数量较少。同时非目标物品中填充物较多但本身体积较小的包裹，也会和有些目标物品的区分度较小。这些都会导致类间竞争严重，进而导致判断的结果可能达不到报警阈值。
50.3)现有也会使用多个大型的图片分类模型串行，对每一类目标物品做二分类，例如：使用模型一判断图片中是否包含锂电池，若不包含则传入模型二，由模型二继续判断图
片中是否包含有液体，若不包含则传入模型三等。这种操作方式会消耗大量的计算资源，且判断时间远超包裹过安检机的时间，不具备实际操作意义。
51.参见图1，示出的是本发明实施例提供的一种物品识别处理方法的主要流程图，包括如下步骤：
52.s101：从目标图像中检测出包含包裹的图片，提取所述图片的图片特征；
53.s102：将所述图片特征分别输入到多个弱分类器中进行目标物品识别，得到每个弱分类器的识别结果；其中，一个弱分类器仅识别一个类别的目标物品；
54.s103：响应于至少一个弱分类器的识别结果为预设值，确定所述包裹中存在目标物品。
55.上述实施方式中，对于步骤s101，本方案实际可适用于多种需要识别目标物品的场景，如安检场景下的违禁品识别，物流运输场景下的易碎品识别、大物件识别，采集的图像即为目标图像，本方案以安检场景为例进行说明。
56.目标物品识别首先需进行物品检测，该部分目前较为成熟，现有较多方法可供选择，本方案对其做略微调整，具体地：现有方案将目标图像作为一张完整图像进行检测，本方案首先对图像中的包裹进行检测，以基于包裹所处区域生成一个新图片，之后再基于新图片进行识别处理。
57.以安检场景为例，实际操作中安检机的型号各有不同，有些安检机的分辨率较低，因而在对整张安检机图像进行目标物品检测识别时，若图像中包裹区域和背景区域的占比相差较大，会导致识别过程中存在其他无效信息、噪音的干扰。通过上述操作，可以大幅降低该干扰问题。
58.通常一个包裹内装载了不止一个物品，且由于放置位置的叠加，多个物品之间可能只是遮挡或并列关系的不同。以安检场景为例，安检机由于采用x光，故不同包裹之间不仅仅存在遮挡关系，有时还存在透视导致的包含关系。
59.针对上述多个包裹之间存在遮挡或包含关系的情况，本方案首先计算多个包裹之间遮挡区域或包含区域的面积，判断该面积是否超出iou(intersection over union，交并比)预先设定的阈值。若超出，则将这多个包裹所处的区域作为一个图片，即将原先需要分别识别的多个包裹作为一个整体，以同时对这些包裹进行识别处理；否则需使用iou对其进行切分，以得到与每个包裹对应的图片。
60.对于步骤s102，每个图片包含有各自的图片特征，如10001。可以使用一个基础的图片分类网络，如resnet50，提取每个包裹图片的图片特征，如图片特征f。
61.弱分类器可以是knn(k-nearestneighbor，k最近邻分类算法)和树模型(如xgboost(extreme gradient boosting，极端梯度提升)、随机森林等)，此时可以直接识别图片中是否包含目标物品，也可以首先预判断，之后再判断是否为目标物品，如先判断是否为金属，若为金属再判断是否为刀具。也可以包括knn和树模型、序列模型(如rnn(recurrent neural network，循环神经网络)、lstm(long short-term memory，长短期记忆网络)，此时直接对图片进行位置编码，之后再输入到弱分类器中进行训练或预测。
62.此处首先讲述如何训练各个弱分类器，参见图2所示：
63.s201：获取包含单个包裹的图片，接收对每个图片中的物品进行类别打标操作；
64.s202：确定打标目标类别的图片，将所确定的图片分为第一组，剩余未打标所述目
标类别的图片分为第二组；
65.s203：提取每个图片的图片特征，将所述第一组的图片和每个图片的图片特征、所述第二组的图片和每个图片的图片特征，输入到与所述目标类别对应的目标弱分类器中进行训练，得到训练后的目标弱分类器；其中，所述目标弱分类器用于识别所述目标类别的目标物品。
66.从业务逻辑层面而言，侧重点在于包裹内是否包含有某种目标物品。若细分到某一类目标物品，如刀具，只需了解是否包含刀具即可，其他类别的物品同理。另外，目标物品的类别相较于非目标物品的类别较少，因而会大幅降低标注工作量。此处的打标(即打标签)，仍依赖工作人员手动打标，如图片1-包含刀具、图片2-不包含刀具。
67.本方案中弱分类器的作用，由现有需要准确识别多类别的物品，转变为仅识别是否包含具体某一类别的物品，从而无需对包裹进行切分处理。由于包含多个独立的弱分类器，因而同一张图片可以应用到多个弱分类器中进行训练使用，从而进一步减少训练所需的样本数据量。例如，识别刀具的弱分类器，输入其进行训练的信息包括：标注包含刀具的第一组图片和每个图片的图片特征、剩余标注不包含刀具的第二组图片和每个图片的图片特征。
68.在得到训练后的弱分类器之后，将弱分类器部署到云端，便于后续不同区域根据不同应用场景，适应性筛选所需弱分类器，例如，当前使用的弱分类器为1、2、3，在新添加一个类别后，从云端下载相应类别的弱分类器，假设为弱分类器4，则当前场景使用4种弱分类器分别识别4种目标物品。
69.以安检场景为例，采集包裹通过安检机的x光图像。考虑不同安检场景所对应的违禁品类别的不同，需确定当前安检场景对应的目标物品类别，从弱分类器集中筛选出与每个目标物品类别对应的弱分类器，将前述图片特征f输入到每个弱分类器中，以对该图片特征f进行类别划分。如火车运输无需将手机、电池作为违禁品，只需将有关手机、电池的弱分类器剔除掉最后的判断即可，且该操作并不会对其他弱分类器的判断产生影响。
70.下面表1、表2和表3，显示某些样例在处理图片特征后得到的识别结果。多个二分类的弱分类器并行运行，减少了计算时间开销。
71.参见表1：
72.图片包含锂电池不包含锂电池1x 2 x3x 4 x
73.参见表2：
74.图片包含刀具不包含刀具1x 2x 3 x4 x
75.参见表3：
76.图片包含液体不包含液体1 x2x 3 x4x 77.对于步骤s103，通过对多个弱分类器的识别结果取并集，得到总识别结果。一旦发现某个弱分类器得到的识别结果为“有”(即预设值，可根据实际情况调整，如1)，则确定该包裹中存在目标物品。以安检场景为例，当包裹中存在违禁品时，直接反馈报警，但若所有弱分类器的结果均为通过，则判断没有违禁品，该包裹通过安检。
78.本发明实施例所提供的方法，每个弱分类器仅识别一个类别的目标物品，以此实现物品区分、减少类间竞争，从根本上解决不同类别物品概率相近的问题；各个弱分类器间相互独立，因而可以根据具体场景选择相应弱分类器，广泛适用于所有需要识别物品的场景，即使新增一个类别，也可以采用统一方式训练得到该类别下的弱分类器，整体操作具有通用性和普适性，以此提升识别效率，加快识别速度。
79.参见图3，示出了本发明实施例提供的一种物品识别处理装置300的主要模块示意图，包括：
80.提取模块301，用于从目标图像中检测出包含包裹的图片，提取所述图片的图片特征；
81.识别模块302，用于将所述图片特征分别输入到多个弱分类器中进行目标物品识别，得到每个弱分类器的识别结果；其中，一个弱分类器仅识别一个类别的目标物品；
82.确定模块303，用于响应于至少一个弱分类器的识别结果为预设值，确定所述包裹中存在目标物品。
83.本发明实施装置中，所述提取模块301，还用于：
84.若所述目标图像中的多个包裹之间存在遮挡关系或包含关系，则计算遮挡区域或包含区域的面积；
85.响应于所述面积未超出预设面积阈值，对所述多个包裹所处区域进行拆分，得到每个包裹的图片，以单独对每个包裹进行物品识别；或
86.响应于所述面积超出所述预设面积阈值，得到包含所述多个包裹的图片，以同时对所述多个包裹进行物品识别。
87.本发明实施装置还包括筛选模块，用于：
88.确定与当前识别场景对应的物品类别，从弱分类器集中筛选出与每个物品类别对应的弱分类器。
89.本发明实施装置还包括训练模块，用于：
90.获取包含单个包裹的图片，接收对每个图片中的物品进行类别打标操作；
91.确定打标目标类别的图片，将所确定的图片分为第一组，剩余未打标所述目标类别的图片分为第二组；
92.提取每个图片的图片特征，将所述第一组的图片和每个图片的图片特征、所述第二组的图片和每个图片的图片特征，输入到与所述目标类别对应的目标弱分类器中进行训练，得到训练后的目标弱分类器；其中，所述目标弱分类器用于识别所述目标类别的目标物
品。
93.另外，在本发明实施例中所述装置的具体实施内容，在上面所述方法中已经详细说明了，故在此重复内容不再说明。
94.图4示出了可以应用本发明实施例的示例性系统架构400，包括终端设备401、402、403，网络404和服务器405(仅仅是示例)。
95.终端设备401、402、403可以是具有显示屏并且支持网页浏览的各种电子设备，安装有各种通讯客户端应用，用户可以使用终端设备401、402、403通过网络404与服务器405交互，以接收或发送消息等。
96.网络404用以在终端设备401、402、403和服务器405之间提供通信链路的介质。网络404可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
97.服务器405可以是提供各种服务的服务器，用于执行检测包裹图片、提取图片特征、训练多个弱分类器、使用弱分类器识别目标物品的操作。需要说明的是，本发明实施例所提供的方法一般由服务器405执行，相应地，装置一般设置于服务器405中。
98.应该理解，图4中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
99.下面参考图5，其示出了适于用来实现本发明实施例的终端设备的计算机系统500的结构示意图。图5示出的终端设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
100.如图5所示，计算机系统500包括中央处理单元(cpu)501，其可以根据存储在只读存储器(rom)502中的程序或者从存储部分508加载到随机访问存储器(ram)503中的程序而执行各种适当的动作和处理。在ram 503中，还存储有系统500操作所需的各种程序和数据。cpu 501、rom 502以及ram 503通过总线504彼此相连。输入/输出(i/o)接口505也连接至总线504。
101.以下部件连接至i/o接口505：包括键盘、鼠标等的输入部分506；包括诸如阴极射线管(crt)、液晶显示器(lcd)等以及扬声器等的输出部分507；包括硬盘等的存储部分508；以及包括诸如lan卡、调制解调器等的网络接口卡的通信部分509。通信部分509经由诸如因特网的网络执行通信处理。驱动器510也根据需要连接至i/o接口505。可拆卸介质511，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器510上，以便于从其上读出的计算机程序根据需要被安装入存储部分508。
102.特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分509从网络上被下载和安装，和/或从可拆卸介质511被安装。在该计算机程序被中央处理单元(cpu)501执行时，执行本发明的系统中限定的上述功能。
103.需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便
携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、rf等等，或者上述的任意合适的组合。
104.附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
105.描述于本发明实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种处理器包括提取模块、识别模块、确定模块。其中，这些模块的名称在某种情况下并不构成对该模块本身的限定，例如，确定模块还可以被描述为“目标物品确定模块”。
106.作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备执行本方案物品识别处理方法。
107.上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。