基于图像识别技术进行店铺门头招牌识别的方法及装置与流程

1.本发明涉及基于图像识别技术进行店铺门头招牌识别的方法及装置，属于计算机视觉技术领域。


背景技术：

2.sfa(销售能力自动化)是crm客户关系管理系统的一个重要业务组件。sfa通过拜访目标制定、路线规划、设置执行规范、任务执行、执行结果分析等一系列功能对业务人员在外行为进行规范和引导，帮助业务人员正确高效的完成拜访规定步骤。
3.sfa中客户拜访系统是一个重要的功能，用来帮助经销商完成对线下签约店铺的拜访核检任务。业务员通过客户拜访流程对签约的线下门店拜访拍照，核检是否专摆本公司的产品，陈列是否整齐以及是否按本公司的要求放置店铺招牌等。
4.经销商对于已签约线下店铺的招牌形式有统一的要求，经销商不仅对店铺招牌的内容有要求(如经销商logo，经销商名称等)，还会要求招牌的放置方式(如招牌放置在门头上方，招牌颜色等)，合格的店铺招牌不仅能提高经销商的广告效益，增加产品的销量，也能提升经销商的商业形象，因此经销商需要有一种方法能够高效判断业务人员提交的店铺招牌图像是否符合经销商的要求，快速发现不合格的门店招牌，降低线下店铺的管理成本。
5.而只采用分类模型进行识别，虽然能识别出招牌的放置方式是否合格，但对招牌元素的识别较差，造成较高的误判；只采用招牌元素识别模型能准确的识别出招牌上与经销商关联的元素，但是不能识别出招牌的放置方式是否合格。因此采用单一模型的识别效果不佳，不能满足实际的应用需求。


技术实现要素：

6.本发明的目的在于克服现有技术中的不足，提供基于图像识别技术进行店铺门头招牌识别的方法及装置，用于高效判断业务员提交的店铺图像是否满足要求，快速发现招牌不合格的线下店铺。
7.为达到上述目的，本发明是采用下述技术方案实现的：
8.第一方面，本发明提供了基于图像识别技术进行店铺门头招牌识别的方法，包括：
9.获取线下店铺门头招牌图像，通过预先构建的门头分类模型和招牌元素识别模型进行识别；
10.合并所述门头分类模型和招牌元素识别模型的识别结果，提取线下店铺门头招牌图像上的图像信息，判断线下店铺门头招牌图像是否满足经销商的要求。
11.进一步的，所述门头分类模型和招牌元素识别模型的构建包括：
12.获取预先采集的实际场景中的店铺门头招牌图像，对所述店铺门头招牌图像进行分类标注及招牌元素标注；
13.对所述店铺门头招牌图像进行分类训练，获取门头分类模型，并对模型进行部署；
14.对所述店铺门头招牌图像进行店铺招牌元素识别训练，获取招牌元素识别模型，
并对模型进行部署。
15.进一步的，所述获取预先采集的实际场景中的店铺门头招牌图像，对所述店铺门头招牌图像进行分类标注及招牌元素标注，包括：
16.获取预先采集的实际场景中的店铺门头招牌图像作为训练数据集，其中，采集的图像包括合格的门头招牌图像，不合格的门头招牌图像及其他场景的图像；
17.对采集到的图像进行分类标注，获取分类数据集，其中，标注类别包括合格的门头招牌图像图像包含门头且门头上方有店铺招牌，不合格的门头招牌图像即图像仅包含门头或者仅包含店铺招牌，其他类型的图像即不属于以上两种类别的图像；
18.对采集到的图像进行元素标注，获取元素识别数据集，标注的元素为店铺招牌中经销商logo、经销商名称及其他与经销商关联的元素，标注方式不限于目标检测中的矩形框标注方式；
19.其中，所述分类数据集和招牌元素识别数据集不限于同一个数据集。
20.进一步的，所述对所述店铺门头招牌图像进行分类训练，获取门头分类模型，并对模型进行部署，包括：
21.利用标注完成的数据训练门头分类模型，门头分类模型包括但不限于resnet、vgg、mobilenet或shufflenet；
22.对训练完成的门头分类模型进行量化加速，模型部署方式不限于云部署及移动端的部署。
23.进一步的，所述对所述店铺门头招牌图像进行店铺招牌元素识别训练，获取招牌元素识别模型，并对模型进行部署，包括：
24.利用标注完成的数据训练招牌元素识别模型，招牌元素识别模型包括但不限于ssd，yolo或fasterrcnn；
25.对训练完成的招牌元素识别模型进行量化加速，模型部署方式不限于云部署及移动端的部署。
26.进一步的，所述合并所述门头分类模型和招牌元素识别模型的识别结果，提取线下店铺门头招牌图像上的图像信息，判断线下店铺门头招牌图像是否满足经销商的要求，包括：
27.对合并门头分类模型和招牌元素识别模型的识别结果进行第一次判断，包括：合并两个模型的推理输出，若门头分类模型分类结果是合格的门头，且招牌元素识别模型在店铺招牌上检测到了经销商的logo，经销商的名称及其他经销商关联元素，则图像符合要求；
28.对提取店铺招牌元素周围的图像信息进行第二次判断，包括：对于第一次判断符合要求的图像，提取店铺招牌元素周围的图像信息，判断招牌的颜色是否为经销商指定的颜色，若为经销商指定的颜色，则图像符合要求，门头店铺招牌合格；
29.对识别准确率进行计算，包括：对于随机采集的一批验证数据，根据门头分类模型的分类结果、招牌元素识别模型的识别结果及颜色识别结果，准确率计算公式如下：
30.31.d：用于验证的数据集合；实际是正样本分类模型预测也是正样本的集合；
32.实际是正样本招牌元素识别模型预测也是正样本的集合；
33.实际是负样本分类模型预测也是负样本的集合；
34.实际是负样本招牌元素识别模型预测也是负样本的集合；
35.p
colour
：颜色识别的准确率。
36.进一步的，所述门头分类模型和招牌元素识别模型的识别顺序不分先后，也可同时进行识别。
37.进一步的，所述门头分类模型和招牌元素识别模型识别结果的第一次判断不限于两个模型的推理结果是否合并，也可以对每个模型的推理结果分别判断后合并判断结果。
38.进一步的，所述对提取店铺招牌元素周围的图像信息进行第二次判断中，店铺招牌颜色识别方法包括：
39.获取店铺招牌上的多个图像块；
40.将每个图像块色彩空间由rgb转换为hsv；
41.在hsv色彩空间下利用每个图像块的h值范围判断图像块的颜色；
42.根据所有图像块的颜色，投票判断招牌颜色。
43.第二方面，本发明提供基于图像识别技术进行店铺门头招牌识别的装置，包括：
44.获取识别单元，用于获取线下店铺门头招牌图像，通过预先构建的门头分类模型和招牌元素识别模型进行识别；
45.合并提取判断单元，用于合并所述门头分类模型和招牌元素识别模型的识别结果，提取线下店铺门头招牌图像上的图像信息，判断线下店铺门头招牌图像是否满足经销商的要求。
46.与现有技术相比，本发明所达到的有益效果：
47.本发明提供基于图像识别技术进行店铺门头招牌识别的方法及装置，能够高效的判断店铺门头招牌内容及放置方式是否合格，提升企业管理线下门店的效率，降低门店管理成本。
附图说明
48.图1是本发明实施例提供的基于图像识别技术进行店铺门头招牌识别的方法的流程示意图；
49.图2是本发明实施例提供的颜色识别流程示意图。
具体实施方式
50.下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
51.实施例1
52.本实施例介绍基于图像识别技术进行店铺门头招牌识别的方法，包括：
53.获取线下店铺门头招牌图像，通过预先构建的门头分类模型和招牌元素识别模型
进行识别；
54.合并所述门头分类模型和招牌元素识别模型的识别结果，提取线下店铺门头招牌图像上的图像信息，判断线下店铺门头招牌图像是否满足经销商的要求。
55.如图1至图2所示，本实施例提供的基于图像识别技术进行店铺门头招牌识别的方法，其应用过程具体涉及如下步骤：
56.(1)根据实际需求，采集实际场景中的店铺门头招牌图像，并对采集到的图像进行分类标注及招牌元素标注；
57.(2)对采集的图像进行分类训练，获取门头分类模型，并对模型进行部署；
58.(3)对采集的图像进行店铺招牌元素识别训练，获取招牌元素识别模型，并对模型进行部署；
59.(4)合并门头分类模型和招牌元素识别模型的识别结果，提取店铺招牌上的图像信息，判断店铺门头招牌是否满足经销商的要求。
60.具体的，所述步骤(1)采用以下步骤构建训练集，具体步骤如下：
61.(1-1)采集实际场景中的店铺门头招牌图像：采集实际场景中的店铺门头招牌图像作为训练数据集，采集的图像应包括合格的门头招牌图像，不合格的门头招牌图像及其他场景的图像；
62.(1-2)图像分类标注：对采集到的图像进行分类标注，标注类别包括合格的门头招牌图像图像包含门头且门头上方有店铺招牌，不合格的门头招牌图像即图像仅包含门头或者仅包含店铺招牌，其他类型的图像即不属于以上两种类别的图像。
63.(1-3)招牌元素标注：对采集到的图像进行元素标注，标注的元素为店铺招牌中经销商logo、经销商名称及其他与经销商关联的元素，标注方式不限于目标检测中的矩形框标注方式。
64.(1-4)分类数据集和招牌元素识别数据集不限于同一个数据集。
65.具体的，所述步骤(2)采用以下步骤进行分类模型的训练部署：
66.(2-1)训练门头分类模型：利用标注完成的数据训练分类模型，分类模型包括但不限于resent、vgg、mobilenet或shufflenet等；
67.(2-2)门头分类模型推理部署：对训练完成的分类模型进行量化加速，模型部署方式不限于云部署及移动端的部署。
68.具体的，所述步骤(3)采用以下步骤进行店铺招牌元素识别模型的训练部署：
69.(3-1)训练分类模型：利用标注完成的数据训练招牌元素识别模型，招牌元素招牌元素识别模型包括但不限于ssd，yolo或fasterrcnn等；
70.(3-2)识别模型推理部署：对训练完成的招牌元素识别模型进行量化加速，模型部署方式不限于云部署及移动端的部署。
71.具体的，所述步骤(4)采用以下步骤进行店铺门头招牌的判断：
72.(4-1)合并门头分类模型和识别模型的推理结果进行第一次判断：合并两个模型的推理输出，若门头分类模型分类结果是门头，且招牌元素识别模型在店铺招牌上检测到了经销商的logo，经销商的名称及其他经销商关联元素，则图像符合要求，门头店铺招牌合格；
73.(4-2)提取店铺招牌元素周围的图像信息进行第二次判断：对于第一次判断符合
要求的图像，提取店铺招牌元素周围的图像信息，判断招牌的颜色是否为经销商指定的颜色，若为经销商指定的颜色，则图像符合要求，门头店铺招牌合格；
74.(4-3)识别准确率计算：对于随机采集的一批验证数据，根据门头分类模型的分类结果、招牌元素识别模型的识别结果及颜色识别结果，准确率计算公式如下：
[0075][0076]
d：用于验证的数据集合；实际是正样本分类模型预测也是正样本的集合；
[0077]
实际是正样本招牌元素识别模型预测也是正样本的集合；
[0078]
实际是负样本分类模型预测也是负样本的集合；
[0079]
实际是负样本招牌元素识别模型预测也是负样本的集合；
[0080]
p
colour
：颜色识别的准确率。
[0081]
具体的，门头分类模型和招牌元素识别模型的推理顺序不分先后，也可同时进行推理。
[0082]
具体的，所述(4-1)门头分类模型和招牌元素识别模型推理结果的第一次判断不限于两个模型的推理结果是否合并，也可以对每个模型的推理结果分别判断后合并判断结果。
[0083]
具体的，所述(4-2)店铺招牌颜色识别方法为：
[0084]
(4-2-1)获取店铺招牌上的多个图像块；
[0085]
(4-2-2)将每个图像块色彩空间由rgb转换为hsv；
[0086]
(4-2-3)在hsv色彩空间下利用每个图像块的h值范围判断图像块的颜色；
[0087]
(4-2-4)根据所有图像块的颜色，投票判断招牌颜色。
[0088]
实施例2
[0089]
本实施例提供基于图像识别技术进行店铺门头招牌识别的装置，包括：
[0090]
获取识别单元，用于获取线下店铺门头招牌图像，通过预先构建的门头分类模型和招牌元素识别模型进行识别；
[0091]
合并提取判断单元，用于合并所述门头分类模型和招牌元素识别模型的识别结果，提取线下店铺门头招牌图像上的图像信息，判断线下店铺门头招牌图像是否满足经销商的要求。
[0092]
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。