针对标志物的行为识别方法、电子设备及存储介质与流程

1.本技术涉及图像处理技术领域，特别是涉及一种针对标志物的行为识别方法、电子设备及计算机可读存储介质。


背景技术：

2.标志物用于标识人、物品、建筑物等对象的信息。例如，店铺招牌是店铺的标志物，用于标识店铺的名称。又如，店铺的主推商品展示栏是店铺的标志物，用于表示店铺的主推商品信息。在很多应用场景下，经常需要针对标志物的行为进行识别，以方便管理。目前针对标志物的行为识别，需要依赖人工定期巡逻实现。该人工管理的方法需要耗费过多的人力成本，且管理效率低。


技术实现要素：

3.本技术提供一种针对标志物的行为识别方法、电子设备及计算机可读存储介质，能够解决目前的标志物管理方法需要耗费过多的人力成本，且管理效率低的问题。
4.为解决上述技术问题，本技术采用的一个技术方案是：提供一种针对标志物的行为识别方法。该方法包括：检测出第一场景图像中包含的待处理标志物；基于待处理标志物的位置和/或拍摄参数，判断是否存在与所述待处理标志物匹配的备案标志物；响应于存在与所述待处理标志物匹配的备案标志物，基于待处理标志物和匹配的备案标志物，确定是否存在针对所述待处理标志物的目标行为。
5.为解决上述技术问题，本技术采用的另一个技术方案是：提供一种电子设备，该电子设备包括处理器、与处理器连接的存储器，其中，存储器存储有程序指令；处理器用于执行存储器存储的程序指令以实现上述方法。
6.为解决上述技术问题，本技术采用的又一个技术方案是：提供一种计算机可读存储介质，存储有程序指令，该程序指令被执行时能够实现上述方法。
7.通过上述方式，本技术可以获取关于待处理标志物的第一场景图像，检测出第一场景图像中包含的待处理标志物，基于待处理标志物的位置和/或拍摄参数判断是否存在匹配的备案标志物，在存在的情况下确定是否存在针对待处理标志物的目标行为。从而，能够自动对待处理标志物进行行为识别，无需人工参与即可实现标志物的管理，提高了管理效率。
附图说明
8.图1是本技术针对标志物的行为识别方法一实施例的流程示意图；
9.图2是本技术针对标志物的行为识别方法另一实施例的流程示意图；
10.图3是本技术针对标志物的行为识别方法又一实施例的流程示意图；
11.图4是本技术针对标志物的行为识别方法再一实施例的流程示意图；
12.图5是本技术针对标志物的行为识别方法一具体实例的流程示意图；
13.图6是本技术电子设备一实施例的结构示意图；
14.图7是本技术计算机可读存储介质一实施例的结构示意图。
具体实施方式
15.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本技术的一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
16.本技术中的术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”、“第三”的特征可以明示或者隐含地包括至少一个该特征。本技术的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
17.在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本技术的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，在不冲突的情况下，本文所描述的实施例可以与其它实施例相结合。
18.对标志物的管理分为两个环节，一个环节是标志物的记录，以将新增标志物存入数据库。另一个环节是标志物的行为识别，以确定是否存在针对标志物的目标行为。本技术可以仅进行行为识别，也可以进行行为识别和记录。
19.在介绍本技术提供的针对标志物的行为识别方法之前，先对本技术的应用场景进行举例：
20.应用场景1：在司法管控的角度，针对任何不能随意变更的标志物的行为进行识别。例如，标志物是店铺招牌，针对店铺招牌的行为进行识别，以确定店铺招牌是否存在目标行为(恶意变更)。如果存在目标行为，上报至相关人员及时处理。
21.应用场景2：在为用户提供便利的角度，针对任何需要关注的标志物的行为进行识别。例如，标志物是店铺的主推商品栏，针对主推商品栏的行为进行识别，以确定是否存在目标行为(主推商品栏上的主推商品信息是否变更)。如果存在，则更新数据库中存储的主推商品信息，以将新的主推商品信息推送给用户，供用户查看。
22.预定场景布设有摄像设备。预定场景可以为商场、超市、街道等。摄像设备为包括摄像头的电子设备，例如球机等变焦摄像机、其他普通摄像机。摄像设备具有轮询列表，轮询列表记录了轮询点位，每个轮询点位具有对应的拍摄参数，拍摄参数包括摄像头的拍摄位置(拍摄角度)。若摄像设备为变焦摄像机，拍摄参数还包括变焦倍数。
23.在轮询过程中，摄像设备依序在各个轮询点位拍摄第一场景图像，以将第一场景图像应用于后续处理，实现针对标志物的行为识别，从而无需人工参与，即可实现对标志物的自动管理。如下以其中的一个轮询点位为例进行介绍：
24.图1是本技术针对标志物的行为识别方法一实施例的流程示意图。需注意的是，若有实质上相同的结果，本实施例并不以图1所示的流程顺序为限。如图1所示，本实施例可以包括：
25.s11：获取摄像头对预定场景进行拍摄得到的第一场景图像。
26.第一场景图像中包含一个或多个待处理标志物。获取第一场景图像之后，可以直接将第一场景图像应用于后续步骤。
27.或者，考虑到第一场景图像的质量影响后续识别的精度，因此在将第一场景图像应用于后续步骤之前，可以对第一场景图像进行质量评估，以判断第一场景图像的质量是否满足检测标准；若满足检测标准，则将第一场景图像应用于后续步骤。
28.检测标准可以包括第一场景图像的拍摄环境不属于预设拍摄环境。预设拍摄环境包括有强光反射、光线过暗、暴雨、大雾等等。检测标准还可以包括第一场景图像的清晰度大于清晰度阈值、第一场景图像未被遮挡等等。
29.可以基于深度学习网络实现对第一场景图像的质量评估。具体来说，将第一场景图像送入深度学习网络，以使深度学习网络提取第一场景图像的特征，基于第一场景图像的特征进行分类，得到第一场景图像的质量。可以基于预定场景的天气信息实现对第一场景图像的质量评估。具体来说，可以获取预定场景的天气信息，基于天气信息确定第一场景图像的拍摄环境，基于第一场景图像的拍摄环境确定第一场景图像的质量。例如，获取到天气信息为暴雨，则确定第一场景图像的拍摄环境属于预设拍摄环境，第一场景图像不符合检测标准。
30.s12：检测出第一场景图像中包含的待处理标志物。
31.检测待处理标志物，实质是获取待处理标志物在第一场景图像中对应的区域(也可以称之为待处理标志物图像)。可以通过检测、分割等方式获取待处理标志物。
32.可以对第一场景图像进行分割，得到第一场景图像中的待处理标志物。
33.或者，可以对第一场景图像进行检测，得到待处理标志物的检测框，检测框表征待处理标志物的位置。将检测框对应的区域作为待处理标志物。检测框可以表示为(坐标，长度，宽度)。
34.或者，可以在得到待处理标志物的检测框之后，获取检测框的尺寸；判断检测框是否满足识别要求(尺寸大于或者等于尺寸阈值)；若满足识别要求，则将检测框对应的区域作为待处理标志物；否则将检测框对应的区域放大至尺寸阈值，将放大后的检测框对应的区域，作为待处理标志物。从而，能够提高后续对待处理标志物的处理精度。
35.或者，可以在得到待处理标志物的检测框之后，变更拍摄参数，以获取摄像头按照变更后的拍摄参数重新拍摄得到的第一场景图像(第二场景图像)；对第二场景图像进行分割，得到待处理标志物。
36.或者，可以在得到待处理标志物的检测框之后，判断检测框是否满足识别要求；若满足识别要求，则直接基于第一场景图像确定待识别目标；否则变更拍摄参数，以获取摄像头按照变更后的拍摄参数重新拍摄得到的第一场景图像(第二场景图像)，对第二场景图像进行分割，得到待处理标志物。
37.s13：基于待处理标志物的位置和/或拍摄参数，判断是否存在与待处理标志物匹配的备案标志物。
38.待处理标志物的位置是指待处理标志物在第一场景图像/第二场景图像中的位置。备案标志物的位置和/或拍摄参数已知。可以将待处理标志物与多个备案标志物进行关于位置和/或拍摄参数的对比，以确定多个备案标志物中，是否存在与待处理标志物的位置和/或拍摄参数匹配的备案标志物；若存在，则判定存在匹配的备案标志物；否则判定不存
在匹配的备案标志物。
39.若存在与待处理标志物匹配的备案标志物，则执行s14；否则意味着待处理标志物是新增标志物，在对待处理标志物的管理包括新增记录的情况下，执行s15。
40.s14：基于待处理标志物和匹配的备案标志物的差异信息，确定是否存在针对待处理标志物的目标行为。
41.差异信息可以包括外观和内容中至少一个信息的特征差异。目标行为可以包括针对待处理标志物的外观和内容中的至少一个信息进行变更的操作。外观包括但不限于颜色、材料、尺寸、形状。内容包括单不限于字符、数字、字体、图标(如logo)。
42.可以分别提取待处理标志物的特征和匹配的备案标志物的特征，将待处理标志物的特征和匹配的备案标志物的特征进行比对，以确定是否存在目标行为。具体来说，可以计算待处理标志物的特征和匹配的备案标志物的特征之间的相似度，若相似度大于相似度阈值，则确定不存在针对待处理标志物的目标行为；否则确定存在目标行为。
43.用于行为识别的特征可以包括外观特征(如颜色、材料、尺寸、形状特征)、内容特征(如字符、数字、字体、图标特征)、全局特征(包括外观特征和内容特征)中的至少一个。具体选用的特征可以根据应用场景来定。例如，在关注字符的应用场景下，选用字符内容特征，或者选用字符特征和全局特征。可以理解的是，在关注字符的应用场景下，选用字符特征和全局特征，能够提高特征的表达能力，提高识别结果的精度。又如，在关注外观的应用场景下，选用外观特征。本技术后文以选用字符特征和全局特征为例进行说明。
44.待处理标志物的特征包括字符特征和全局特征两者的情况下，可以提取待处理标志物的字符特征、全局特征，提取匹配的备案标志物的字符特征、全局特征；分别计算待处理标志物和匹配的备案标志物关于字符特征、全局特征的相似度，基于两个相似度确定是否存在目标行为。例如，若两个相似度均表明存在目标行为，则确定存在目标行为。又如，若其中一个相似度表明存在目标行为，则确定存在目标行为。再如，对两个相似度加权，根据加权结果确定是否存在目标行为。
45.s15：记录待处理标志物及其位置和/或拍摄参数。
46.通过本实施例的实施，本技术可以获取关于待处理标志物的第一场景图像，检测出第一场景图像中包含的待处理标志物，基于待处理标志物的位置和/或拍摄参数判断是否存在匹配的备案标志物，在存在的情况下确定是否存在针对待处理标志物的目标行为。从而，能够自动对待处理标志物进行行为识别，无需人工参与即可实现标志物的管理，提高了管理效率。
47.图2是本技术针对标志物的行为识别方法另一实施例的流程示意图。需注意的是，若有实质上相同的结果，本实施例并不以图2所示的流程顺序为限。本实施例是对s12的进一步扩展。如图2所示，本实施例可以包括：
48.s21：对第一场景图像进行检测，得到待处理标志物的检测框。
49.待处理标志物的检测框表征待处理标志物的位置。
50.s22：判断检测框是否满足识别要求。
51.识别要求可以包括检测框的尺寸符合尺寸要求、检测框表征的位置符合位置要求等等。
52.可以理解的是，若检测框位于第一场景图像的边缘区域，很有可能存在检测框内
的待处理标志物不完整等情况。例如，检测框位于场景图像的右下角，待处理标志物的右半区域未在第一场景图像范围内，也未在检测框内。若检测框的尺寸小于尺寸阈值，意味着在摄像头当前拍摄参数下，待处理标志物的尺寸小，待处理标志物的特征表达能力不高。从而，影响后续识别的精度。
53.若满足识别要求，则意味着待处理标志物的识别精度不会受到影响，执行s26；否则意味着待处理标志物的识别精度会受到影响，执行s23～s25。
54.s23：变更拍摄参数。
55.拍摄参数包括变焦倍数和/或拍摄位置。拍摄参数是基于检测框的尺寸和/或检测框表征的位置变更的。
56.针对拍摄位置，可以基于检测框表征的位置和第一场景图像的中心点位置确定拍摄位置的调整值，基于拍摄位置的调整值调整拍摄位置。
57.针对变焦倍数，可以基于检测框的尺寸确定变焦倍数的调整值，基于变焦倍数的调整值调整变焦倍数。
58.例如，摄像头所属摄像设备为定焦摄像机，拍摄参数包括拍摄位置。待识别目标的检测框表征的位置不符合位置要求，导致待处理标志物不完整，可以变更拍摄位置，以使后续获取的第二场景图像中包括完整的待处理标志物。
59.又如，摄像头所属摄像设备为变焦摄像机，拍摄参数包括拍摄位置和变焦参数。待识别目标的检测框的尺寸不大于尺寸阈值，可以变更拍摄位置和变焦倍数，以使后续获取的第二场景图像中，包括的待处理标志物的尺寸大于尺寸阈值，且待处理标志物的清晰度不变，提高后续识别的精度。
60.s24：获取摄像头基于变更后的拍摄参数，对预定场景进行拍摄得到的第二场景图像。
61.s25：对第二场景图像进行分割，得到待处理标志物。
62.s26：对第一场景图像进行分割，得到待处理标志物。
63.所谓分割，是指预测第一/第二场景图像中哪些像素点属于待处理标志物，得到每个像素点属于待处理标志物的概率，概率大于概率阈值的像素点组成的区域为待处理标志物。
64.此外，在其他实施例中，通过分割得到待处理标志物之后，还可以对待处理标志物进行透射变换，将待处理标志物的图像视角矫正为正视，以避免因视角差异影响识别精度。
65.图3是本技术针对标志物的行为识别方法又一实施例的流程示意图。需注意的是，若有实质上相同的结果，本实施例并不以图3所示的流程顺序为限。本实施例是对s14进一步扩展。标志物的特征包括字符特征和全局特征。如图3所示，本实施例可以包括：
66.s31：提取待处理标志物的全局特征和字符特征，以及提取匹配的备案标志物的全局特征和字符特征。
67.可以利用深度学习网络提取全局特征，利用ocr技术提取字符特征。
68.s32：计算待处理标志物与匹配的备案标志物关于字符特征的第一相似度、关于全局特征的第二相似度。
69.s33：对第一相似度和第二相似度进行加权处理，得到加权相似度。
70.s34：判定加权相似度是否大于相似度阈值。
71.若大于，则执行s35；否则执行s36。
72.s35：判定不存在目标行为。
73.s36：判定存在目标行为。
74.图4是本技术针对标志物的行为识别方法再一实施例的流程示意图。需注意的是，若有实质上相同的结果，本实施例并不以图4所示的流程顺序为限。本实施例是对s14进一步扩展。标志物的特征包括字符特征和全局特征。如图4所示，本实施例可以包括：
75.s41：分别提取待处理标志物和匹配的备案标志物的字符特征。
76.s42：计算待处理标志物与匹配的备案标志物关于字符特征的第一相似度。
77.s43：判断第一相似度是否大于相似度阈值。
78.若不大于，则字符特征表明存在目标行为，执行s44～s46；否则字符特征表明不存在目标行为，执行s47。
79.s44：提取待处理标志物的全局特征和匹配的备案标志物的全局特征。
80.s45：计算待处理标志物与匹配的备案标志物关于全局特征的第二相似度。
81.s46：判断第二相似度是否大于相似度阈值。
82.若大于，则执行s47；否则执行s48。
83.s47：判定不存在目标行为。
84.s48：判定存在目标行为。
85.可以理解的是，在关注字符的应用场景下，待处理标志物的字符变更才会引起目标行为。本实施例先基于字符特征判断待处理标志物是否存在目标行为；若字符特征表明不存在目标行为，则直接确定不存在目标行为。若字符特征表明存在目标行为，则进一步基于全局特征判断是否存在目标行为；若全局特征表明存在目标行为，才确定存在目标行为。从而，实现以字符特征为主，全局特征为辅的行为判断，提高精度。
86.如下结合图5，以一个具体实例的方式，对本技术提供的针对标志物的行为识别方法进行说明。
87.标志物是招牌。球机布设在x街道，球机按照轮询点位列表进行线性轮询，以实现对x街道的招牌的自动管理。在当前点位的处理流程如下：
88.1)获取第一场景图像，第一场景图像是在球机轮询时，按照当前点位对应的拍摄参数拍摄得到的。
89.2)对第一场景图像进行质量评估，以确定第一场景图像的拍摄场景是否为预设拍摄环境。若不为预设拍摄环境，则进入3)；否则停止招牌识别。
90.3)对第一场景图像进行招牌检测，得到各个待处理招牌的检测框和待处理招牌的检测框。
91.4)从第一场景图像中获得待处理招牌。具体如下：
92.①
判断待处理招牌的检测框是否符合位置和尺寸要求；若符合，则进入
②
；若不符合，则进入
③
。
93.②
对第一场景图像进行招牌分割，得到待处理招牌。
94.③
变更拍摄参数，以获取第二场景图像，第二场景图像是在球机变更拍摄参数之后拍摄得到的。
95.④
对第二场景图像进行招牌分割，得到待处理招牌。
96.5)基于待处理招牌的位置和拍摄参数，判断是否存在匹配的已记录招牌/备案招牌；若存在，则进入6)；否则进入7)。
97.6)确定待处理招牌是否被变更。
98.7)记录待处理招牌。
99.6)、7)执行完成之后，跳转至4)，直至遍历完所有的待处理招牌。
100.图6是本技术电子设备一实施例的结构示意图。如图6所示，该电子设备包括处理11、与处理11耦接的存储器12。
101.其中，存储器12存储有用于实现上述任一实施例的方法的程序指令；处理11用于执行存储器12存储的程序指令以实现上述方法实施例的步骤。其中，处理11还可以称为cpu(central processing unit，中央处理单元)。处理11可能是一种集成电路芯片，具有信号的处理能力。处理11还可以是通用处理器、数字信号处理器(dsp)、专用集成电路(asic)、现场可编程门阵列(fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
102.图7是本技术计算机可读存储介质一实施例的结构示意图。如图7所示，本技术实施例的计算机可读存储介质20存储有程序指令21，该程序指令21被执行时实现本技术上述实施例提供的方法。其中，该程序指令21可以形成程序文件以软件产品的形式存储在上述计算机可读存储介质20中，以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本技术各个实施方式方法的全部或部分步骤。而前述的计算机可读存储介质20包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质，或者是计算机、服务器、手机、平板等终端设备。
103.在本技术所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
104.另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。以上仅为本技术的实施方式，并非因此限制本技术的专利范围，凡是利用本技术说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本技术的专利保护范围内。