门店商品陈列图像造假识别方法、装置、设备及介质与流程

1.本发明涉及计算机技术领域，特别是涉及一种门店商品陈列图像造假识别方法、装置、设备及介质。


背景技术：

2.在快消品行业，对商品陈列活动费用投放进行核算时，往往需要业务人员对门店的商品陈列情况进行拍照采集，后台根据所采集的商品陈列图像信息进行活动费用核算。然而，部分业务人员会对门店陈列情况进行增报，或利用临近门店有陈列活动的图像代替未进行陈列活动的门店进行虚假上报，因此，在庞大的门店陈列拍照数据中，通常难以快速判别是否存在造假情况。
3.目前，厂家主要通过委派督导人员到门店进行人工抽检的方式进行造假识别，但这种方式不仅成本较高，且效率低下；另一方面，现有的图像识别技术对于相同图片的识别能得到较好的判别结果，但对于相似的商品陈列图片，往往判断准确率也较低。


技术实现要素：

4.针对上述技术问题，本发明提供一种门店商品陈列图像造假识别方法、装置、设备及介质，能够准确、快速地从庞大的门店陈列拍照数据中识别存在商品陈列图像造假的门店。
5.第一方面，本发明提供一种门店商品陈列图像造假识别方法，包括：
6.获取多个门店的位置信息，以及每一门店对应的商品陈列图像；
7.根据所述门店的位置信息对多个所述门店进行分组，对于每一分组，执行下述步骤：
8.对组内各门店的商品陈列图像进行特征提取，得到第一图像特征；
9.利用预设第一自编码器模型对所述商品陈列图像的sku信息进行处理，得到第二图像特征；
10.对所述第一图像特征和所述第二图像特征进行融合处理，得到融合特征矩阵；
11.计算所述融合特征矩阵两两特征向量间的相似度，根据所计算的相似度结果，识别存在商品陈列图像造假的门店。
12.可选的，所述根据所计算的相似度结果，识别存在商品陈列图像造假的门店，具体为：
13.判断计算得到的相似度是否大于预设阈值；
14.若存在大于所述预设阈值的相似度，基于所述融合特征矩阵的索引，确定对应的存在商品陈列图像造假的门店。
15.可选的，所述对所述第一图像特征和所述第二图像特征进行融合处理，得到融合特征矩阵，具体为：
16.对所述第一图像特征和所述第二图像特征进行水平拼接，得到拼接特征矩阵；
17.利用预设第二自编码器模型对所述拼接特征矩阵进行处理，得到融合特征矩阵。
18.可选的，采用resnet101作为骨架网络，对组内各门店的商品陈列图像进行图像特征提取，得到第一图像特征。
19.可选的，所述预设第一自编码器模型具体为：变分自编码器模型。
20.第二方面，本发明还提供一种门店商品陈列图像造假识别装置，包括：
21.图像获取模块，用于获取多个门店的位置信息，以及每一门店对应的商品陈列图像；
22.图像识别模块，用于根据所述门店的位置信息对多个所述门店进行分组，对于每一分组，执行下述步骤：
23.对组内各门店的商品陈列图像进行特征提取，得到第一图像特征；
24.利用预设第一自编码器模型对所述商品陈列图像的sku信息进行处理，得到第二图像特征；
25.对所述第一图像特征和所述第二图像特征进行融合处理，得到融合特征矩阵；
26.计算所述融合特征矩阵两两特征向量间的相似度，根据所计算的相似度结果，识别存在商品陈列图像造假的门店。
27.可选的，所述根据所计算的相似度结果，识别存在商品陈列图像造假的门店，具体为：
28.判断计算得到的相似度是否大于预设阈值；
29.若存在大于所述预设阈值的相似度，基于所述融合特征矩阵的索引，确定对应的存在商品陈列图像造假的门店。
30.可选的，所述对所述第一图像特征和所述第二图像特征进行融合处理，得到融合特征矩阵，具体为：
31.对所述第一图像特征和所述第二图像特征进行水平拼接，得到拼接特征矩阵；
32.利用预设第二自编码器模型对所述拼接特征矩阵进行处理，得到融合特征矩阵。
33.第三方面，本发明实施例还提供一种计算设备，所述计算设备包括：
34.通信接口，用于与其他装置进行通信；
35.处理器，与所述通信接口耦合，使得所述通信装置执行第一方面所述的门店商品陈列图像造假识别方法。
36.第四方面，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，当所述计算机程序在计算机上运行时，使得所述计算机执行第一方面所述的门店商品陈列图像造假识别方法。
37.相比现有技术，本发明的有益效果在于：
38.本发明提供的门店商品陈列图像造假识别方法首先基于门店地理位置信息对众多门店进行分组，而对于组内各门店由业务代表拜访拍照得到的商品陈列图像，则分别获取图像的sku识别内容和图像特征两种异构特征，以将二者进行融合，实现基于融合特征计算相似度，进而得到造假识别结果。sku识别结果是陈列语义上的注释，故通过图像特征学习表观相似性后，再利用语义注释的学习加以融合佐证，能够有效提升相似商品陈列图像造假识别的准确率，且相对于人工抽检方式，其识别效率更高。
附图说明
39.为了更清楚地说明本发明的技术方案，下面将对实施方式中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
40.图1是本发明实施例提供的门店商品陈列图像造假识别方法的流程示意图；
41.图2是本发明实施例提供的门店商品陈列图像造假识别装置的结构示意图。
具体实施方式
42.下面结合附图和具体实施方式对本发明的技术方案作进一步更详细的描述。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。
43.在本发明的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连。
44.对于本领域的普通技术人员而言，可以结合具体情况理解上述术语在本发明中的具体含义。此外，在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。
45.流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
46.如图1所示，本发明一个实施例提供了一种门店商品陈列图像造假识别方法，包括以下步骤：
47.s1：获取多个门店的位置信息，以及每一门店对应的商品陈列图像。
48.对于快消行业而言，往往需要确保终端门店达到一定的覆盖度，才能提升商品销量，因此，各快消企业通常需要同时管理多个终端门店。而在各终端门店作业拜访中，业务代表通常需要上门巡店，并对门店内的商品陈列情况进行拍照采集，得到各门店的商品陈列图像，以便企业根据采集的图像进行活动费用核算。
49.因此，本实施例第一步先获取多个门店的位置信息，具体包括门店的名称以及经纬度信息等；再使用geohash算法，基于所获取的门店经纬度信息对门店进行编码分组，以避免全量门店数据对比。
50.s2：根据所述门店的位置信息对多个所述门店进行分组，对于每一分组，执行下述步骤：
51.s21：对组内各门店的商品陈列图像进行特征提取，得到第一图像特征。
52.可以理解的是，业务代表通常会选择附近门店作为商品陈列图像造假的采集来源，因此，本实施例通过基于各门店的位置信息对多个门店进行编码分组，以减少无效对比
运算，从而提升造假识别效率。
53.具体地，对于每一个分组内的若干门店，分别获取组内各门店对应的商品陈列图像，并对所获取的图像进行特征提取，得到第一图像特征。
54.在一个实施例中，可采用resnet101作为骨架网络，对组内各门店的商品陈列图像进行图像特征提取，得到第一图像特征，所述第一图像特征具体可为2048维的特征向量。
55.s22：利用预设第一自编码器模型对所述商品陈列图像的sku信息进行处理，得到第二图像特征。
56.具体地，对于所获取的组内各门店的商品陈列图像，可通过图像识别方法得到商品陈列图像的sku识别结果。
57.可以理解的是，对每一张商品陈列图像进行sku识别后，按照sku的类别和数量展开，则每张商品陈列图像的sku识别结果展平后为n维稀疏特征。
58.在一个实施例中，对于预设第一自编码器模型的构建，可随机抽取5万sku识别结果的稀疏矩阵作为训练样本集对初始自编码器模型进行训练，具体地，所述预设第一自编码器模型可为变分自编码器(variational auto-encoders，vae)。
59.利用预设第一自编码器模型对所述目标商品陈列图像的sku信息进行处理后，所得到的第二图像特征具体为sku识别结果稀疏矩阵的低维稠密表示特征向量。
60.s23：对所述第一图像特征和所述第二图像特征进行融合处理，得到融合特征矩阵。
61.在一个实施例中，可先对第一图像特征和第二图像特征沿水平方向进行拼接，得到拼接特征矩阵，再利用预设的第二自编码器模型对所述拼接特征矩阵进行处理，得到融合特征矩阵，所述融合特征矩阵包含两种异构特征更深层次融合的特征向量。
62.具体地，所述预设的第二自编码器模型为预先训练好的自编码器(auto-encoders，ae)。
63.s24：计算所述融合特征矩阵两两特征向量间的相似度，根据所计算的相似度结果，识别存在商品陈列图像造假的门店。
64.计算得到所述融合特征矩阵两两特征向量间的相似度后，首先判断所得到的相似度是否大于预设阈值；若存在大于预设阈值的相似度，则说明该融合特征矩阵对应的门店为存在商品陈列图像造假的门店，即该门店为需要追踪的疑似具有欺诈陈列费用投放行为的终端门店；因此，可基于所述融合特征矩阵的索引，确定所对应的存在商品陈列图像造假的门店。
65.具体地，首先根据所计算的相似度结果，将所有特征相似度大于预设阈值的特征向量进行分组保存，分组方式为：将同属一个geohash编码的商品陈列图像分为一个重复组，进而识别存在商品陈列图像造假的门店。
66.需要说明的是，每张商品陈列图像均设置有一个唯一标识编码id，用于标识不同的商品陈列图像，同时，每张商品陈列图像还设置有一个门店编码id，用于标识属于不同门店的商品陈列图像；特征矩阵中的每个元素都表示一张商品陈列图像提取的特征值，其下标与该图像的唯一标识编码id相对应，因此，可基于相似度追溯特征矩阵中的相似特征下标，进而追溯其对应的商品陈列图像及所属门店。
67.在一个实施例中，可通过faiss框架计算融合特征矩阵的特征向量间的相似度。对
应的，预设阈值可设置为0.95，即：当相似度大于0.95时，则判定该特征矩阵对应的门店可能存在商品陈列图像造假行为。
68.可以理解的是，所述预设阈值可根据数据集以及特征性质进行确定，本发明不作限定。
69.在一个实施例中，基于上述实施例所得到的存在商品陈列图像造假的门店的识别结果，可发布数据服务，为相关小程序应用提供存疑门店数据，以便核查人员对所述存疑门店进行线下核查；具体地，核查人员在核查过程中，可通过拍照提交核查证据。
70.本发明上述实施例通过提供一种基于异构特征融合的门店商品陈列图像造假识别方法，实现从大规模的采集图像数据中快速筛查出存在商品陈列图像造假行为的终端门店，可达到降本增效的目标。
71.如图2所示，本发明另一个实施例还提供了一种门店商品陈列图像造假识别装置，包括图像获取模块101和图像识别模块102。
72.图像获取模块101用于获取多个门店的位置信息，以及每一门店对应的商品陈列图像。
73.图像识别模块102用于根据所述门店的位置信息对多个所述门店进行分组，对于每一分组，执行下述步骤：
74.对组内各门店的商品陈列图像进行特征提取，得到第一图像特征；利用预设第一自编码器模型对所述商品陈列图像的sku信息进行处理，得到第二图像特征；对所述第一图像特征和所述第二图像特征进行融合处理，得到融合特征矩阵；计算所述融合特征矩阵两两特征向量间的相似度，根据所计算的相似度结果，识别存在商品陈列图像造假的门店。
75.更多地，上述门店商品陈列图像造假识别装置之间的信息交互、执行过程等内容与本发明提供的门店商品陈列图像造假识别方法实施例基于同一构思，具体内容可参见本发明方法实施例中的叙述，此处不再赘述。
76.以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方法的目的。
77.第三方面，本发明提供一种数据处理设备，包括处理器，所述处理器和存储器耦合，所述存储器存储有程序，所述程序由所述处理器执行，使得所述数据处理设备执行第一方面所述的门店商品陈列图像造假识别方法。
78.第四方面，本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现如上述第一方面所述的门店商品陈列图像造假识别方法。
79.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于计算机可监听存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(read-only memory，rom)或随机存储记忆体(random access memory，ram)等。
80.上面结合附图阐述的具体实施方式描述了示例性实施例，但并不表示可以实现的或者落入权利要求书的保护范围的所有实施例。在整个本说明书中使用的术语“示例性”意
味着“用作示例、实例或例示”，并不意味着比其它实施例“优选”或“具有优势”。出于提供对所描述技术的理解的目的，具体实施方式包括具体细节。然而，可以在没有这些具体细节的情况下实施这些技术。在一些实例中，为了避免对所描述的实施例的概念造成难以理解，公知的结构和装置以框图形式示出。
81.本发明内容的上述描述被提供来使得本领域任何普通技术人员能够实现或者使用本发明内容。对于本领域普通技术人员来说，对本发明内容进行的各种修改是显而易见的，并且，也可以在不脱离本发明内容的保护范围的情况下，将本文所定义的一般性原理应用于其它变型。因此，本发明内容并不限于本文所描述的示例和设计，而是与符合本文公开的原理和新颖性特征的最广范围相一致。