一种图片检测方法、装置及设备与流程

1.本技术涉及图像处理技术领域，尤其涉及一种图片检测方法、装置及设备。


背景技术：

2.目前，越来越多的商户将其售卖的商品上传至线上平台，用户可通过线上平台在线挑选和购买各商户的商品。例如，用户在餐饮店就餐时，可以自行扫描餐饮店提供的点餐二维码进入该餐饮店的点餐界面，然后选择菜品并下单。以及，若用户不方便去餐饮店就餐，可以在外卖平台进行点餐。可见，线上挑选和购买商品的方式极大地方便了人们的生活。
3.为了提高线上平台的服务质量，线上平台定制有商品售卖页面标准，线上平台的各店铺的商品售卖界面需要满足该商品售卖页面标准。然而，商品售卖页面标准发生更新后，线上平台的商品售卖界面的类型可能会发生变化。
4.基于此，如何适应商品售卖页面标准的更新，快速检测出线上平台的商品售卖界面的类型是否为违规类型，成为了亟待解决的技术问题。


技术实现要素：

5.本说明书实施例提供的一种图片检测方法、装置及设备，可以适应商品售卖页面标准的更新，快速检测出线上平台的商品售卖界面的类型。
6.为解决上述技术问题，本说明书实施例是这样实现的：
7.本说明书实施例提供的一种图片检测方法，包括：
8.获取检测请求，所述检测请求用于请求对待检测图片的类型进行检测；
9.提取所述待检测图片中的第一特征；
10.根据所述第一特征，采用向量索引在预设图库中进行检索，得到检索结果；
11.根据所述检索结果确定相似度大于第一预设阈值的检索结果样本图片；
12.确定所述检索结果样本图片的类型标签；所述类型标签包括违规类型标签；
13.根据所述检索结果样本图片的类型标签，确定所述待检测图片的类型。
14.本说明书实施例提供的一种图片检测装置，包括：
15.检测请求获取模块，用于获取检测请求，所述检测请求用于请求对待检测图片的类型进行检测；
16.第一特征提取模块，用于提取所述待检测图片中的第一特征；
17.检索模块，用于根据所述第一特征，采用向量索引在预设图库中进行检索，得到检索结果；
18.图片筛选模块，用于根据所述检索结果确定相似度大于第一预设阈值的检索结果样本图片；
19.类型标签确定模块，用于确定所述检索结果样本图片的类型标签；所述类型标签包括违规类型标签；
20.图片类型确定模块，用于根据所述检索结果样本图片的类型标签，确定所述待检测图片的类型。
21.本说明书实施例提供的一种图片检测设备，包括：
22.至少一个处理器；以及，
23.与所述至少一个处理器通信连接的存储器；其中，
24.所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够：
25.获取检测请求，所述检测请求用于请求对待检测图片的类型进行检测；
26.提取所述待检测图片中的第一特征；
27.根据所述第一特征，采用向量索引在预设图库中进行检索，得到检索结果；
28.根据所述检索结果确定相似度大于第一预设阈值的检索结果样本图片；
29.确定所述检索结果样本图片的类型标签；所述类型标签包括违规类型标签；
30.根据所述检索结果样本图片的类型标签，确定所述待检测图片的类型。
31.本说明书中提供的至少一个实施例能够实现以下有益效果：获取用于请求对待检测图片的类型进行检测的检测请求；提取待检测图片中的第一特征；根据第一特征，采用向量索引在预设图库中进行检索，得到检索结果；根据检索结果确定相似度大于第一预设阈值的检索结果样本图片；确定检索结果样本图片的类型标签；类型标签包括违规类型标签；根据检索结果样本图片的类型标签，确定待检测图片的类型。基于此，由于采用向量索引在预设图库中进行检索，预设图库支持动态更新，使得当点餐页面标准发生更新后，可以通过更新预设图库来适应点餐页面标准的更新，避免重新训练模型，进而提高了待检测图片的检测效率。
附图说明
32.为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
33.图1为本说明书实施例中的一种图片检测方法的整体方案流程示意图；
34.图2为本说明书实施例提供的一种图片检测方法的流程示意图；
35.图3是本说明书实施例提供的一种检索结果图片的示意图；
36.图4是本说明书实施例提供的一种违规图片的示意图；
37.图5是本说明书实施例提供的另一种违规图片的示意图；
38.图6为本说明书实施例提供的对应于图2中的图片检测方法的泳道流程示意图；
39.图7为本说明书实施例提供的对应于图2的一种图片检测装置的结构示意图；
40.图8为本说明书实施例提供的对应于图2的一种图片检测设备的结构示意图。
具体实施方式
41.为使本说明书一个或多个实施例的目的、技术方案和优点更加清楚，下面将结合本说明书具体实施例及相应的附图对本说明书一个或多个实施例的技术方案进行清楚、完
整地描述。显然，所描述的实施例仅是本说明书的一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本说明书一个或多个实施例保护的范围。
42.以下结合附图，详细说明本说明书各实施例提供的技术方案。
43.为了提高线上平台的服务质量，线上平台定制有商品售卖页面标准，线上平台的各店铺的商品售卖界面需要满足该商品售卖页面标准。然而，商品售卖页面标准发生更新后，线上平台的商品售卖界面的类型可能会发生变化。前述类型主要包括违规类型与合规类型。示例性的，假定目前的商品售卖页面标准中对点餐界面的菜品图片没有要求，但是在对该商品售卖页面标准进行更新后，更新后的商品售卖页面标准中规定点餐界面的菜品图片中要展示出对应菜品的菜品外貌，若菜品图片中没有展示出对应菜品的菜品外貌，则定义该菜品图片所在的点餐界面为违规界面，违规界面对应的图片的类型为违规图片；如此，在商品售卖页面标准发生更新后，没有展示出对应菜品的菜品外貌的图片所在的点餐界面截图的图片类型将发生变化。
44.基于此，为了适应商品售卖页面标准的更新，快速检测出线上平台的商品售卖界面的类型是否为违规类型，本方案给出了以下实施例。
45.图1为本说明书实施例中的一种图片检测方法的整体方案流程示意图。
46.如图1所示，在获取入库样本图片后，根据入库样本图片的类型设置入库样本图片的类型标签。然后，提取入库样本图片中的文本特征和图片特征，将提取出的文本特征和图片特征进行特征融合，得到入库样本图片的特征。根据入库样本图片的特征和类型标签，生成预设图库11。然后，基于预设图库11构建向量索引12。由此，完成预设图库11和向量索引12的创建。
47.后续，当需要检测待检测图片的类型时，可以提取待检测图片中的文本特征和图片特征，然后，将待检测图片中的文本特征和图片特征进行特征融合，得到待检测图片的特征。接下来，根据待检测图片的特征，采用向量索引12在预设图库11中进行检索，得到检索结果。检索结果中包含与待检测图片相似的若干张入库样本图片，以及该若干张入库样本图片分别与待检测图片之间的相似度。然后，在所述若干张入库样本图片中确定相似度大于第一预设阈值的检索结果样本图片，并确定检索结果样本图片的类型标签；所述类型标签包括违规类型标签。最后，根据所述检索结果样本图片的类型标签，确定所述待检测图片的类型。
48.接下来，将针对说明书实施例提供的一种图片检测方法结合附图进行具体说明：
49.图2为本说明书实施例提供的一种图片检测方法的流程示意图。从设备角度而言，该流程的执行主体可以为服务器，从程序角度而言，该流程的执行主体可以为服务器处搭载的用于图片检测的应用程序。如图2所示，该流程可以包括以下步骤：
50.步骤202：获取检测请求，所述检测请求用于请求对待检测图片的类型进行检测。
51.本说明书实施例中，待检测图片可以是线上平台的商品售卖界面截图，例如可以是在线点餐平台中的点餐页面截图。下面，本说明书实施例以待检测图片为点餐页面截图为例，说明本说明书实施例的技术方案，可以理解的是，本说明书实施例的商品售卖界面截图并不仅限于点餐页面截图，例如，商品售卖界面截图还可以是服装售卖界面截图。
52.实际应用中，线上平台为了提高服务质量，设定有点餐页面标准(即商品售卖页面
标准)，各商铺的点餐页面需要符合该点餐页面标准。根据点餐页面标准可以将点餐页面截图分为合规类型图片和违规类型图片。
53.步骤204：提取所述待检测图片中的第一特征。
54.本说明书实施例中，待检测图片中包含有文字信息和图像信息，文字信息可以包括菜品名称，图像信息可以包括菜品图片。在获取待检测图片后，为了提高图片检测结果的准确性，可以提取待检测图片中的文本特征和图片特征，然后将提取出的文本特征和图片特征进行特征融合，得到待检测图片的第一特征。也可以只提取待检测图片中的文本特征或图像特征，来得到第一特征。
55.步骤206：根据所述第一特征，采用向量索引在预设图库中进行检索，得到检索结果。
56.本说明书实施例中，预设图库中可以包括类型已知的样本图片，样本图片可以是点餐页面截图，向量索引用于根据待检测图片，在预设图库中检索出与该待检测图片相似的样本图片，进而根据与该待检测图片相似的样本图片的类型，来确定待检测图片的类型。
57.本说明书实施例中，可以是采用向量索引，在预设图库中检索出至少一张与待检测图片相似的样本图片，以及各与待检测图片相似的样本图片分别与待检测图片之间的相似度，因此，检索结果中可以包括至少一张与待检测图片相似的样本图片，以及各与待检测图片相似的样本图片的相似度。
58.步骤208：根据所述检索结果确定相似度大于第一预设阈值的检索结果样本图片。
59.本说明书实施例中，预设图库中与待检测图片相似的样本图片的数量可能较多，为了在保证图片检测结果准确性的前提下，降低图片检测的计算量，可以预先设置第一预设阈值，然后，在与待检测图片相似的样本图片中，确定相似度大于第一预设阈值的检索结果样本图片，使用该检索结果样本图片来确定待检测图片的类型，进而在保证图片检测结果准确性的前提下，降低图片检测的计算量，提高图片检测效率。
60.步骤210：确定所述检索结果样本图片的类型标签；所述类型标签包括违规类型标签。
61.本说明书实施例中，可以是预设图库中包含有样本图片的类型标签，进而在确定所述检索结果样本图片的类型标签时，可以从预设图库中获取检索结果样本图片的类型标签。
62.本说明书实施例中，预设图库中的每张样本图片分别对应一个类型标签，类型标签用于表示样本图片的类型。具体的，类型标签可以包括违规类型标签。违规类型标签的种类可以是多种，每种违规类型标签用于表示一种违规类型，各种违规类型标签反映的违规类型不同。此外，类型标签还可以包括合规类型标签，所述合规类型标签用于表示对应图片为合规图片。
63.步骤212：根据所述检索结果样本图片的类型标签，确定所述待检测图片的类型。
64.本说明书实施例中，若预设图库中的样本图片均为违规图片，则确定所述检索结果样本图片的类型标签，具体包括：确定所述检索结果样本图片的违规类型标签。以及，所述根据所述检索结果样本图片的类型标签，确定所述待检测图片的类型，具体可以包括：根据所述检索结果样本图片的违规类型标签，确定所述待检测图片的违规类型。
65.此外，若预设图库中的样本图片包括违规图片和合规图片，该场景下，待检测图片
的类型包括合规类型和多种违规类型。
66.在实际应用中，若检索结果样本图片的数量为一张，则确定检索结果样本图片的类型即为待检测图片的类型。若检索结果样本图片的数量为多张，可以确定相似度最大的检索结果样本图片的类型为待检测图片的类型。
67.本说明书实施例采用上述技术方案，获取用于请求对待检测图片的类型进行检测的检测请求；提取待检测图片中的第一特征；根据第一特征，采用向量索引在预设图库中进行检索，得到检索结果；根据检索结果确定相似度大于第一预设阈值的检索结果样本图片；确定检索结果样本图片的类型标签；类型标签包括违规类型标签；根据检索结果样本图片的类型标签，确定待检测图片的类型。由于采用向量索引在预设图库中进行检索，预设图库支持动态更新，使得当点餐页面标准发生更新后，可以通过更新预设图库来适应点餐页面标准的更新，无需重新训练模型。
68.基于图2中的方法，本说明书实施例还提供了该方法的一些具体实施方案，下面进行说明。
69.本说明书实施例中，点餐页面中的图片内容(如菜品图片)和文本内容(如菜品名称)均可能出现违规现象，因此，需要提供能够对点餐页面中的图片内容和文本内容进行检测的预设图库。
70.基于此，步骤206：根据所述第一特征，采用向量索引在预设图库中进行检索，得到检索结果之前，本实施例的方法还可以包括：
71.获取样本图片数据；所述样本图片数据包括第一入库样本图片和所述第一入库样本图片的类型标签。
72.提取所述第一入库样本图片中的文本特征和图片特征。
73.将所述第一入库样本图片中的文本特征和图片特征进行特征融合，得到第二特征。
74.根据所述第二特征和所述第一入库样本图片的类型标签，构建所述预设图库。
75.本说明书实施例中，可以是从现有技术的点餐页面图库中，获取第一入库样本图片。第一入库样本图片的数量往往较多，因此，为了提高图片检测效率，可以根据预设指标将各第一入库样本图片存入不同的文件夹。预设指标可以是第一入库样本图片对应的供应商。以及，在获取第一入库样本图片后，可以人工确定第一入库样本图片的类型标签，也可以通过预设模型确定第一入库样本图片的类型标签。
76.接下来，可以基于现有技术中的文本提取技术，例如光学字符识别(optical character recognition，ocr)技术，提取所述第一入库样本图片中的文本特征，所述文本特征包括文字字体。以及，基于现有技术中的图片特征提取模型，提取所述第一入库样本图片中的图片特征。此外，也可以基于预设图片特征提取模型，提取所述第一入库样本图片中的图片特征。在提取第一入库样本图片的文本特征和图片特征后，可以根据现有技术中的特征融合技术，将提取出的文本特征和图片特征进行特征融合，得到第一入库样本图片的第二特征。最后，将第二特征和第一入库样本图片的类型标签存入预设图库。如此，使得预设图库中的特征能够同时反映样本图片中的文本特征和图片特征，进而，能够通过该预设图库，检测待检测图片中的文本特征和图片特征中的至少一种，提高了图片检测结果的准确性和本说明书实施例的适用范围。
77.本说明书实施例中，当检测待检测图片中的文本特征时，步骤204具体可以包括：提取所述待检测图片中的文本特征，得到所述第一特征；当检测待检测图片中的图片特征时，步骤204具体可以包括：提取所述待检测图片中的图片特征，得到所述第一特征；当检测待检测图片中的文本特征和图片特征时，步骤204，具体可以包括：提取所述待检测图片中的文本特征和图片特征，将所述待检测图片的文本特征和图片特征进行特征融合，得到所述第一特征。需要说明的是，提取待检测图片中的文本特征和图片特征，以及将待检测图片中的文本特征和图片特征进行特征融合的方式，与上述实施例相同，在此不再赘述。
78.本说明书实施例中，通过将待检测图片中的文本特征(包括文字字体)和图片特征进行特征融合，得到待检测图片的特征，以及同理得到预设图库中样本图片的特征，进而通过特征匹配来检索与待检测图片相似的样本图片，并根据与待检测图片相似的样本图片的类型，来确定待检测图片的类型，使得当本说明书实施例的方法应用于违规点餐页面检测时，能够检测出违规内容相同的不同店铺的点餐页面和违规内容相似的不同店铺的点餐页面。其中，违规内容指违规的菜品名称和菜品图片。违规内容相似的不同店铺如图3所示。图3中，两点餐页面的菜品图片完全相同，且菜品名称的风格相似，均是各菜品名称之间的内容高度重合，尤其是右图中，各菜品名称的内容完全相同。
79.本说明书实施例中，具体通过图片特征之间的相似度来确定图片之间的相似度，因此，可以预先训练一个用于提取点餐页面中的图片特征的预设图片特征提取模型，该预设图片特征提取模型能够使得图片越相似，从图片中提取的特征越相似，进而提高图片检索结果的准确性。
80.基于此，所述基于预设图片特征提取模型，提取所述第一入库样本图片中的图片特征之前，还包括：
81.获取训练用样本图片。
82.计算各所述训练用样本图片的图片特征之间的距离。
83.基于所述训练用样本图片的图片特征之间的距离和所述训练用样本图片，训练得到所述预设图片特征提取模型。
84.本说明书实施例中，训练用样本图片可以是现有技术的点餐页面图库中的点餐页面截图。在获取到训练用样本图片后，提取训练用样本图片中的图片特征，然后，可以基于现有技术的度量学习(metric learning)技术，计算各图片特征之间的距离。最后，将该距离作为预设图片特征提取模型的损失值，基于所述训练用样本图片的图片特征之间的距离和所述训练用样本图片，训练得到所述预设图片特征提取模型。如此，通过预设图片特征提取模型提取点餐页面截图中的图片特征时，点餐页面截图中菜品图片越相似，提取出的图片特征越相似，进而有利于提高图片检测结果的准确性。
85.本说明书实施例中，类型相同的两张图片之间的相似度必然是较高的，因此，在根据检索出的检索结果样本图片的类型确定待检测图片的类型时，还要考虑检索结果样本图片与待检测图片之间的相似度，若检索结果样本图片与待检测图片之间的相似度较小，则根据检索结果样本图片的类型确定待检测图片的类型的确定结果将不准确。
86.基于此，步骤208：根据所述检索结果确定相似度大于第一预设阈值的检索结果样本图片之后，本说明书实施例的方法，还可以包括：
87.基于所述检索结果样本图片，确定最大相似度。
88.判断所述最大相似度是否大于第二预设阈值。
89.所述根据所述检索结果样本图片的类型标签，确定所述待检测图片的类型，具体包括：
90.若所述最大相似度大于所述第二预设阈值，则根据所述最大相似度对应的检索结果样本图片的类型标签，确定所述待检测图片的类型。
91.本说明书实施例中，在获取到检索结果样本图片后，在各检索结果样本图片分别与待检索图片之间的相似度中，确定出最大相似度。然后，将该最大相似度与第二预设阈值进行比较，其中，该第二预设阈值由本领域技术人员根据实际需要设定。若比较结果显示最大相似度大于第二预设阈值，则将最大相似度对应的检索结果样本图片的类型，确定为所述待检测图片的类型。如此，避免在检索结果样本图片与待检测图片之间的相似度较低时，根据检索结果样本图片的类型确定待检测图片的类型，而导致图片检测结果不准确的情况发生，最终，提高了图片检测结果的准确性。
92.本说明书实施例中，若比较结果显示最大相似度不大于第二预设阈值，可以进一步进行人工审核，并根据人工审核结果更新样本图片的类型标签，以提高样本图片的类型标签的准确性。
93.基于此，本说明书实施例的方案还可以包括：
94.若所述最大相似度小于或等于所述第二预设阈值，则生成人工审核请求；所述人工审核请求用于请求审核人员审核所述最大相似度对应的检索结果样本图片的类型标签。
95.根据所述审核人员的人工审核结果更新所述最大相似度对应的检索结果样本图片的类型标签。
96.本说明书实施例中，根据所述审核人员的人工审核结果更新所述最大相似度对应的检索结果样本图片的类型标签，具体可以包括：
97.若人工审核结果中显示的最大相似度对应的检索结果样本图片的类型标签，与最大相似度对应的检索结果样本图片的最新的类型标签一致，则禁止更改最大相似度对应的检索结果样本图片的类型标签；若人工审核结果中显示的最大相似度对应的检索结果样本图片的类型标签，与最大相似度对应的检索结果样本图片的最新的类型标签不一致，则将最大相似度对应的检索结果样本图片的类型标签更新为人工审核结果中的类型标签。如此，提高了样本图片的类型标签的准确性，进而有利于提高图片检测结果的准确性。
98.本说明书实施例中，在构建预设图库后，本领域技术人员可以根据实际需要动态更新预设图库，例如因点餐页面标准发生更新而产生新类型的点餐页面截图时，可以根据新类型的点餐页面截图，在预设图库中新增样本图片，以使更新后的预设图库适应点餐页面标准的更新。
99.基于此，本说明书实施例的方法还可以包括：
100.获取样本图片更新指令；所述样本图片更新指令中携带有第二入库样本图片和所述第二入库样本图片的类型标签。
101.将所述第二入库样本图片和所述第二入库样本图片的类型标签加入所述预设图库，得到更新后的预设图库。
102.根据所述更新后的预设图库，更新所述向量索引。
103.本说明书实施例中，将第二入库样本图片加入预设图库的过程，与将第一入库样
本图片加入预设图库的原理相同，均是将图片中的文本特征和图片特征进行特征融合后，将融合后的特征加入预设图库，在此不再赘述。
104.本说明书实施例中，所述获取样本图片更新指令之前，本说明书实施例的方法还可以包括：
105.根据人工标记操作生成所述第二入库样本图片的类型标签。
106.本说明书实施例中，点餐页面中，菜品图片、菜品名称和付款方式均是影响用户体验的重要因素。其次，若点餐页面的商品为服装等其他种类商品的话，也会影响客户体验。因此，需要对点餐页面的菜品图片、菜品名称、付款方式和在售商品种类进行检测。
107.基于此，所述违规类型标签用于表示所述预设图库中的样本图片的违规类型；所述违规类型包括菜品图片违规、菜品名称违规、菜品图片和菜品名称均违规、在售商品种类违规和付款方式违规。
108.本说明书实施例中，点餐页面的菜品图片是用户获知对应菜品的菜品外貌的一种途径，而菜品外貌是用户选择菜品的重要参考信息，因此，可定义未展示菜品外貌的菜品图片为违规菜品图片。在一个具体的例子中，图4是本说明书实施例提供的一种违规图片的示意图。如图4所示，点餐页面截图中的菜品图片41中只展示有“对应价格支付”字样，并未展示对应菜品的菜品外貌，因此，该菜品图片为违规菜品图片。在另一个具体的例子中，图5是本说明书实施例提供的另一种违规图片的示意图。如图5所示，点餐页面截图中的菜品图片41中只展示有菜品价格，并未展示对应菜品的菜品外貌，因此，该菜品图片为违规菜品图片。
109.以及，可以定义菜品名称为本菜品价格时，该菜品名称违规。如图4和图5所示，图中菜品名称42均为菜品价格，这使得顾客不能根据图中的菜品名称获知菜品具体是什么菜品，使得顾客体验不好。以及，在售商品种类违规指在售商品的种类不是预设种类，所述预设种类由本领域技术人员根据实际需要设定，本实施例中，预设种类可以为菜品。付款方式违规指在售商品页面为付款页面，使得用户没有进行商品挑选便要直接付款。
110.本说明书实施例中，预设图库中可以存储有大量样本图片，以使得预设图库中存在与待检测图片高度相似的样本图片的概率增大，进而有利于提高图片检测的成功率。然而，预设图库中存储有大量样本图片，将导致在预设图库中检索与待检测图片相似的样本图片的过程中，计算量激增，因此，需要降低图片检索过程中的计算量。
111.基于此，向量索引可以为分级导航小世界图向量索引(hierarchcal navigable small worldgraphs，hnsw)。hnsw在检索过程中，可以针对性的考察部分向量，因此可以大幅降低向量的考察范围，进而降低图片检索时的计算量，提高图片检测效率。
112.图6为本说明书实施例提供的对应于图2中的图片检测方法的泳道流程示意图。如图6所示，该图片检测流程可以涉及点餐页面数据库、服务器和用户设备等执行主体。
113.在离线入库阶段，用户设备根据用户的图片获取操作从现有技术中的点餐页面数据库中获取样本图片(点餐页面截图)，然后，在确定样本图片的类型标签后，将样本图片和样本图片的类型标签发送给服务器。服务器在接收到样本图片和样本图片的类型标签后，提取样本图片中的文本特征和图片特征，并将提取出的文本特征和图片特征进行特征融合，得到样本图片的特征。接着，服务器根据样本图片的特征和样本图片的类型标签，构建预设图库，并根据预设图库，构建向量索引。
114.在在线检索阶段，用户设备向服务器发送携带有待检测图片的检索请求后，服务器根据该检索请求，提取待检测图片中的文本特征和图片特征，并将提取出的文本特征和图片特征进行特征融合，得到待检测图片的特征。然后，服务器根据待检测图片的特征，采用向量索引在预设图库中进行检索，得到检索结果。根据检索结果，确定出相似度大于第一预设阈值的检索结果样本图片，进而在确定出检索结果样本图片的类型标签后，根据检索结果的类型标签确定待检测图片的类型。其中，类型标签包括违规类型标签。
115.基于同样的思路，本说明书实施例还提供了上述方法对应的装置。图7为本说明书实施例提供的对应于图2的一种图片检测装置的结构示意图。如图7所示，该装置可以包括：
116.检测请求获取模块71，用于获取检测请求，所述检测请求用于请求对待检测图片的类型进行检测。
117.第一特征提取模块72，用于提取所述待检测图片中的第一特征。
118.检索模块73，用于根据所述第一特征，采用向量索引在预设图库中进行检索，得到检索结果。
119.图片筛选模块74，用于根据所述检索结果确定相似度大于第一预设阈值的检索结果样本图片。
120.类型标签确定模块75，用于确定所述检索结果样本图片的类型标签；所述类型标签包括违规类型标签。
121.图片类型确定模块76，用于根据所述检索结果样本图片的类型标签，确定所述待检测图片的类型。
122.基于图7的装置，本说明书实施例还提供了该装置的一些具体实施方案，下面进行说明：
123.可选的，本说明书实施例的装置，还可以包括：
124.样本图片数据获取模块，用于获取样本图片数据；所述样本图片数据包括第一入库样本图片和所述第一入库样本图片的类型标签。
125.第二特征提取模块，用于提取所述第一入库样本图片中的文本特征和图片特征。
126.特征融合模块，用于将所述第一入库样本图片中的文本特征和图片特征进行特征融合，得到第二特征。
127.图库构建模块，用于根据所述第二特征和所述第一入库样本图片的类型标签，构建所述预设图库。
128.可选的，本说明书实施例中，所述第二特征提取模块，具体用于：
129.基于光学字符识别技术，提取所述第一入库样本图片中的文本特征；
130.基于预设图片特征提取模型，提取所述第一入库样本图片中的图片特征。
131.本说明书实施例的装置，还可以包括模型训练模块，用于：
132.获取训练用样本图片。
133.计算各所述训练用样本图片的图片特征之间的距离。
134.基于所述训练用样本图片的图片特征之间的距离和所述训练用样本图片，训练得到所述预设图片特征提取模型。
135.可选的，本说明书实施例中，第一特征提取模块72，具体用于：
136.提取所述待检测图片中的文本特征和图片特征。
137.将所述待检测图片中的文本特征和图片特征进行特征融合，得到所述第一特征。
138.可选的，本说明书实施例的装置，还可以包括：
139.最大相似度确定模块，用于基于所述检索结果样本图片，确定最大相似度。
140.最大相似度判断模块，用于判断所述最大相似度是否大于第二预设阈值。
141.所述图片类型确定模块，具体用于若所述最大相似度大于所述第二预设阈值，则根据所述最大相似度对应的检索结果样本图片的类型标签，确定所述待检测图片的类型。
142.可选的，本说明书实施例的装置，还可以包括人工审核模块，用于：
143.若所述最大相似度小于或等于所述第二预设阈值，则生成人工审核请求；所述人工审核请求用于请求审核人员审核所述最大相似度对应的检索结果样本图片的类型标签。
144.根据所述审核人员的人工审核结果更新所述最大相似度对应的检索结果样本图片的类型标签。
145.可选的，本说明书实施例的装置，还可以包括：
146.更新指令获取模块，用于获取样本图片更新指令；所述样本图片更新指令中携带有第二入库样本图片和所述第二入库样本图片的类型标签。
147.图库更新模块，用于将所述第二入库样本图片和所述第二入库样本图片的类型标签加入所述预设图库，得到更新后的预设图库。
148.索引更新模块，用于根据所述更新后的预设图库，更新所述向量索引。
149.可选的，本说明书实施例的装置，还可以包括：
150.图片标记模块，用于根据人工标记操作生成所述第二入库样本图片的类型标签。
151.可选的，本说明书实施例中，所述待检测图片为点餐界面图片。
152.所述违规类型标签用于表示所述预设图库中的样本图片的违规类型；所述违规类型包括菜品图片违规、菜品名称违规、菜品图片和菜品名称均违规、在售商品种类违规和付款方式违规。
153.可选的，本说明书实施例中，所述向量索引为分级导航小世界图向量索引。
154.基于同样的思路，本说明书实施例还提供了上述方法对应的设备。
155.图8为本说明书实施例提供的对应于图2的一种图片检测设备的结构示意图。如图8所示，设备800可以包括：
156.至少一个处理器810；以及，
157.与所述至少一个处理器通信连接的存储器830；其中，
158.所述存储器830存储有可被所述至少一个处理器810执行的指令820，所述指令被所述至少一个处理器810执行，以使所述至少一个处理器810能够：
159.获取检测请求，所述检测请求用于请求对待检测图片的类型进行检测。
160.提取所述待检测图片中的第一特征。
161.根据所述第一特征，采用向量索引在预设图库中进行检索，得到检索结果。
162.根据所述检索结果确定相似度大于第一预设阈值的检索结果样本图片。
163.确定所述检索结果样本图片的类型标签；所述类型标签包括违规类型标签。
164.根据所述检索结果样本图片的类型标签，确定所述待检测图片的类型。
165.本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于图8所
示的设备而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
166.在20世纪90年代，对于一个技术的改进可以很明显地区分是硬件上的改进(例如，对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件(programmable logic device,pld)(例如现场可编程门阵列(field programmable gate array，fpga))就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字符系统“集成”在一片pld上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言(hardware description language，hdl)，而hdl也并非仅有一种，而是有许多种，如abel(advanced boolean expression language)、ahdl(altera hardware description language)、confluence、cupl(cornell university programming language)、hdcal、jhdl(java hardware description language)、lava、lola、myhdl、palasm、rhdl(ruby hardware description language)等，目前最普遍使用的是vhdl(very-high-speed integrated circuit hardware description language)与verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。
167.控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(application specific integrated circuit，asic)、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：arc 625d、atmel at91sam、microchip pic18f26k20以及silicone labs c8051f320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
168.上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的商品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字符助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
169.为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本技术时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
170.本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序商品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序商品的形式。
171.本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序商品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
172.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
173.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
174.在一个典型的配置中，计算设备包括一个或多个处理器(cpu)、输入/输出接口、网络接口和内存。
175.内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(ram)和/或非易失性内存等形式，如只读存储器(rom)或闪存(flash ram)。内存是计算机可读介质的示例。
176.计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字符多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
177.还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
178.本领域技术人员应明白，本技术的实施例可提供为方法、系统或计算机程序商品。因此，本技术可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的
形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序商品的形式。
179.本技术可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本技术，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
180.以上所述仅为本技术的实施例而已，并不用于限制本技术。对于本领域技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本技术的权利要求范围之内。