城管事件的识别方法、装置、电子设备及存储介质与流程

1.本技术涉及计算机视觉技术领域，具体涉及一种城管事件的识别方法、装置、电子设备及计算机可读存储介质。


背景技术：

2.城管事件例如沿街晾晒、出店经营、无证游商、废弃家具、乱堆物料、暴露垃圾、积存渣土等，不仅影响城市的市容市貌，还对周边交通造成一定的影响，甚至还存在一定的安全隐患。
3.为了便于自动识别城管事件，现有技术主要是基于计算机视觉的目标检测算法进行城管事件的识别。
4.但是，有的城管事件因特征多变而相对不明显、有的城管事件因特征稳定而相对明显，而单纯目标检测算法却难以精准地识别出特征多变不明显的城管事件，故而无法全面、精准地识别出城管区域内是否存在城管事件。


技术实现要素：

5.本技术提供一种城管事件的识别方法、装置、电子设备及计算机可读存储介质，旨在解决现有技术中无法全面、精准地识别出城管区域内是否存在城管事件的问题。
6.第一方面，本技术提供一种城管事件的识别方法，所述方法包括：
7.获取待识别的城管区域图像；
8.通过训练后的事件检测网络，对所述城管区域图像内的特征稳定事件进行检测处理，得到所述城管区域图像的事件检测结果；
9.通过训练后的事件分割网络，对所述城管区域图像内的特征变化事件进行分割处理，得到所述城管区域图像的事件分割结果；
10.基于所述事件检测结果和所述事件分割结果，确定所述城管区域图像的城管事件信息。
11.第二方面，本技术提供一种城管事件的识别装置，所述城管事件的识别装置包括：
12.获取单元，用于获取待识别的城管区域图像；
13.检测单元，用于通过训练后的事件检测网络，对所述城管区域图像内的特征稳定事件进行检测处理，得到所述城管区域图像的事件检测结果；
14.分割单元，用于通过训练后的事件分割网络，对所述城管区域图像内的特征变化事件进行分割处理，得到所述城管区域图像的事件分割结果。
15.确定单元，用于基于所述事件检测结果和所述事件分割结果，确定所述城管区域图像的城管事件信息。
16.第三方面，本技术还提供一种电子设备，所述电子设备包括处理器和存储器，所述存储器中存储有计算机程序，所述处理器调用所述存储器中的计算机程序时执行本技术提供的任一种城管事件的识别方法中的步骤。
17.第四方面，本技术还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器进行加载，以执行所述的城管事件的识别方法中的步骤。
18.本技术通过采用事件检测模型对特征稳定事件进行检测，从而可以准确地识别出因特征稳定而相对明显的城管事件；通过事件分割网络对特征变化事件进行分割，从而可以准确地识别出因特征易变化而相对不明显的城管事件。一方面，可以全面、精准地识别出因特征稳定而相对明显的城管事件、以及因特征易变化而相对不明显的城管事件，从而实现全面、精准地识别出城管区域内是否存在城管事件。另一方面，由于检测方式比分割方式可以更快地识别出城管事件，通过结合事件检测模型对特征稳定事件进行检测、事件分割网络对特征变化事件进行分割，既能保证全面、精准地识别出城管区域内是否存在城管事件，又能在一定程度上提高城管事件的识别速度。
附图说明
19.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
20.图1是本技术实施例所提供的城管事件的识别检测系统的场景示意图；
21.图2是本技术实施例提供的城管事件的识别方法的一种流程示意图；
22.图3是本技术实施例中提供的事件分割网络的原理框架示意图；
23.图4是本技术实施例中提供的事件分割网络的一种结构示意图；
24.图5是本技术实施例中提供的特征聚集块的一种结构示意图；
25.图6是本技术实施例中提供的事件分割网络的另一种结构示意图；
26.图7是本技术实施例中提供的特征自交互块的一种结构示意图；
27.图8是本技术实施例中提供的目标事件检测框说明示意图；
28.图9是本技术实施例中提供的城管事件的识别装置的一个实施例结构示意图；
29.图10是本技术实施例中提供的电子设备的一个实施例结构示意图。
具体实施方式
30.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
31.在本技术实施例的描述中，需要理解的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本技术实施例的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
32.为了使本领域任何技术人员能够实现和使用本技术，给出了以下描述。在以下描述中，为了解释的目的而列出了细节。应当明白的是，本领域普通技术人员可以认识到，在不使用这些特定细节的情况下也可以实现本技术。在其它实例中，不会对公知的过程进行
详细阐述，以避免不必要的细节使本技术实施例的描述变得晦涩。因此，本技术并非旨在限于所示的实施例，而是与符合本技术实施例所公开的原理和特征的最广范围相一致。
33.本技术实施例城管事件的识别方法的执行主体可以为本技术实施例提供的城管事件的识别装置，或者集成了该城管事件的识别装置的服务器设备、物理主机或者用户设备(user equipment，ue)等不同类型的电子设备，其中，城管事件的识别装置可以采用硬件或者软件的方式实现，ue具体可以为智能手机、平板电脑、笔记本电脑、掌上电脑、台式电脑或者个人数字助理(personal digital assistant，pda)等终端设备。
34.该电子设备可以采用单独运行的工作方式，或者也可以采用设备集群的工作方式，通过应用本技术实施例提供的城管事件的识别方法，可以全面、精准地识别出城管区域内是否存在城管事件，在一定程度上提高城管事件的识别速度。
35.参见图1，图1是本技术实施例所提供的城管事件的识别系统的场景示意图。其中，该城管事件的识别系统可以包括电子设备100，电子设备100中集成有城管事件的识别装置。例如，该电子设备可以获取待识别的城管区域图像；通过训练后的事件检测网络，对所述城管区域图像内的特征稳定事件进行检测处理，得到所述城管区域图像的事件检测结果；通过训练后的事件分割网络，对所述城管区域图像内的特征变化事件进行分割处理，得到所述城管区域图像的事件分割结果；基于所述事件检测结果和所述事件分割结果，确定所述城管区域图像的城管事件信息。
36.另外，如图1所示，该城管事件的识别系统还可以包括存储器200，用于存储数据，如存储图像数据、视频数据。
37.需要说明的是，图1所示的城管事件的识别系统的场景示意图仅仅是一个示例，本技术实施例描述的城管事件的识别系统以及场景是为了更加清楚的说明本技术实施例的技术方案，并不构成对于本技术实施例提供的技术方案的限定，本领域普通技术人员可知，随着城管事件的识别系统的演变和新业务场景的出现，本发明实施例提供的技术方案对于类似的技术问题，同样适用。
38.下面，开始介绍本技术实施例提供的城管事件的识别方法，本技术实施例中以电子设备作为执行主体，为了简化与便于描述，后续方法实施例中将省略该执行主体。
39.参照图2，图2是本技术实施例提供的城管事件的识别方法的一种流程示意图。需要说明的是，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。该城管事件的识别方法包括步骤201～步骤204，其中：
40.201、获取待识别的城管区域图像。
41.其中，城管区域是指需要进行沿街晾晒、出店经营、无证游商、废弃家具、乱堆物料、暴露垃圾、积存渣土等城管事件识别的区域。例如，城管区域可以是街道、马路或者公园等公共场所。
42.其中，城管区域图像是为包含城管区域的图像，如包含街道的图像。
43.步骤201中，获取待识别的城管区域图像的方式有多种，示例性地，包括：
44.(1)在实际应用时，电子设备在硬件上可以集成摄像头，通过该摄像头在城管区域实时拍摄得到视频帧或图像，以作为待识别的城管区域图像。
45.(2)也可以通过车辆、无人机等其他终端的摄像头在城管区域实时拍摄得到视频帧或图像，电子设备与其他终端的摄像头建立网络连接。并根据该网络连接，从其他终端的
摄像头在线获取其他终端的摄像头拍摄得到的视频帧或图像，以作为待识别的城管区域图像。
46.(3)电子设备也可以从存储有摄像头(包括电子设备集成的摄像头、或者车辆、无人机等其他终端的摄像头)在城管区域拍摄得到的图像的相关存储介质，读取出摄像头拍摄得到的图像，作为待识别的城管区域图像。
47.(4)读取预先采集并存储在电子设备内部的视频帧或图像，作为待识别的城管区域图像。
48.此处城管区域图像的获取方式仅为举例，不以此为限。
49.202、通过训练后的事件检测网络，对所述城管区域图像内的特征稳定事件进行检测处理，得到所述城管区域图像的事件检测结果。
50.其中，特征稳定事件是指具有固定结构和模式使得局部特征比较明显的城管事件，例如沿街晾晒、出店经营、无证游商和废弃家具等。
51.其中，事件检测结果用于指示城管区域图像中是否存在特征稳定事件，事件检测结果包括城管区域图像的事件检测框、事件检测框对应的特征稳定事件的类别等等。
52.其中，事件检测框是通过事件检测模型检测得到的特征稳定事件的检测框。
53.其中，事件检测网络可以通过如下步骤训练得到：
54.1、构建初步的检测网络。
55.例如，可以采用模型参数为默认值的(可用于检测任务)开源网络(如yolov网络)作为初步的检测网络，初步的检测网络可以包括特征提取模块和预测模块。其中，特征提取模块用于对样本图像进行特征提取得到样本图像的图像特征，预测模块用于基于样本图像的图像特征进行预测，输出样本图像的检测结果；检测结果包括样本图像内的特征稳定事件的检测框、以及检测框对应的特征稳定事件类别。
56.2、获取训练数据集。
57.其中，训练数据集包含多个样本图像，一部分样本图像可以是包含特征稳定事件的图像，一部分样本图像可以是不包含特征稳定事件的图像。训练数据集中每个样本进行了标注，标注信息包括特征稳定事件的实际检测框、以及实际检测框对应的特征稳定事件实际类别。
58.进一步地，为了提高事件检测网络的识别精度，可以采集多个不同尺度的样本图像作为训练数据集，以便于提高事件检测网络对不同尺度图像的检测准确性。
59.3、以样本的标注信息作为监督信息，采用训练数据集对初步的检测网络进行训练，直至初步的检测网络收敛时，得到训练后的事件检测网络。此时，可将训练好的事件检测网络应用于输出图像中的特征稳定事件的检测结果。
60.其中，训练后的事件检测网络可以充分学习特征稳定事件的所在区域与图像特征之间关系，从而可以精确地预测出图像中特征稳定事件所在区域的检测框。
61.其中，事件检测网络的训练过程与现有的检测模型的训练过程类似，对于没有详细说明的训练过程，可以参照现有检测模型的训练方式，在此不再赘述。
62.本技术实施例中，事件检测网络可以只针对一种类别的特征稳定事件进行检测，也可以同时针对多种类别的特征稳定事件进行检测，例如针对同时针对沿街晾晒、出店经营、无证游商三种类别特征稳定事件进行检测。
63.进一步地，当需要使用事件检测网络针对多种类别的特征稳定事件进行检测时，上述事件检测网络的训练步骤3中，监督信息将包括特征稳定事件的实际检测框和实际类别。以特征稳定事件的实际检测框和对应的特征稳定事件实际类别作为监督信息，采用训练数据集对初步的检测网络进行训练，直至初步的检测网络收敛时，得到训练后的事件检测网络。其中，训练后的事件检测网络可以充分学习特征稳定事件的所在区域、特征稳定事件的类别与图像特征之间关系，从而可以精确地预测出图像中特征稳定事件所在区域的检测框、以及检测框对应的特征稳定事件类别，进而实现通过一个事件检测网络同时针对多种类别的特征稳定事件进行检测。
64.在一些实施例中，只针对一种类别的特征稳定事件进行检测，此时，步骤202具体可以包括：通过事件检测网络中的特征提取模块，对城管区域图像进行特征提取得到城管区域图像的图像特征；通过事件检测网络中的预测模块基于城管区域图像的图像特征进行预测，得到城管区域图像内的特征稳定事件的检测框，以作为城管区域图像的事件检测结果。
65.在一些实施例中，同时针对多种类别的特征稳定事件进行检测，此时，步骤202具体可以包括：通过事件检测网络中的特征提取模块，对城管区域图像进行特征提取得到城管区域图像的图像特征；通过事件检测网络中的预测模块基于城管区域图像的图像特征进行预测，得到城管区域图像内的特征稳定事件的检测框、以及检测框对应的特征稳定事件类别，以作为城管区域图像的事件检测结果。
66.203、通过训练后的事件分割网络，对所述城管区域图像内的特征变化事件进行分割处理，得到所述城管区域图像的事件分割结果。
67.其中，特征变化事件是指不具备固定结构和模式使得局部特征不明显的城管事件，例如乱堆物料、暴露垃圾和积存渣土等，由于乱堆物料、暴露垃圾和积存渣土等的形状、颜色千变万化，因此在图像中的图像特征相对不明显，故将乱堆物料、暴露垃圾和积存渣土等作为特征变化事件。
68.事件分割结果用于指示城管区域图像中是否存在特征变化事件、以及所存在的特征变化事件的类别、位置等等。
69.其中，事件分割结果用于指示城管区域图像中是否存在特征变化事件，事件分割结果包括城管区域图像的事件分割区域、事件分割区域对应的特征变化事件的类别等等。
70.其中，事件分割区域是通过事件分割模型分割得到的特征变化事件的连通区域。
71.由于特征变化事件的局部特征不明显、形状和颜色千变万化、在场景中不突出，为了提高城管区域图像的城管事件的识别准确度，本技术实施例中通过采用事件分割网络进行分割，以识别出乱堆物料、暴露垃圾和积存渣土等特征变化事件。
72.下面，介绍本技术实施例中的事件分割网络。
73.如图3所示，图3是本技术实施例中提供的事件分割网络的原理框架示意图，该事件分割网络可以包括特征提取模块、预测模块。
74.(一)特征提取模块
75.特征提取模块，用于根据城管区域图像输出城管区域图像的目标特征图。特征提取模块以城管区域图像作为输入，对城管区域图像进行包括但不限于卷积、池化等操作中的一种或多种，以实现对城管区域图像进行特征提取得到城管区域图像的目标特征图。
76.虽然特征变化事件的局部特征不明显、形状和颜色千变万化、在场景中不突出，但是在位置上下文信息明显。为了提高事件分割网络的分割精度，特征提取模块可以加入特征聚集模块来进行特征提取。
77.如图4和图5所示，图4是本技术实施例中提供的事件分割网络的一种结构示意图，图5是本技术实施例中提供的特征聚集块的一种结构示意图。即事件分割网络的特征提取模块又可以包括卷积模块(如图4中所示，卷积模块由多个卷积层“conv”构成)、特征聚集模块(如图4中所示特征聚集模块由多个特征聚集块(aggregate interaction module，aim)构成)。
78.卷积模块，用于通过各卷积层进行逐层卷积，实现提取多个不同分辨率的特征图。如图4所示，可以通过卷积模块进行逐层卷积，依次得到分辨率为320
×
240的特征图n1、160
×
120的特征图n2、80
×
60的特征图n3、40
×
30的特征图n4、20
×
15的特征图n5。
79.特征聚集模块，包括多个特征聚集块aim，每个特征聚集块aim包括卷积层conv、归一化层bn、激活层relu、池化层pool和尺度调整resize，如图5所示。特征聚集模块，用于通过各特征聚集块对不同分辨率的特征图进行融合，得到城管区域图像的聚集特征图。如图5所示，可以通过特征聚集模块进行对不同分辨率的特征图n1～n3、n2～n4、n3～n5、n3～n5进行融合，依次得到聚集特征图1、聚集特征图2、聚集特征图3、聚集特征图4。
80.图5所示结构仅为特征聚集块的一种结构示意，不构成对特征聚集块结构的限制，可以理解的是，可以根据实际需求采用卷积层conv、归一化层bn、激活层relu、池化层pool和尺度调整resize自由地进行特征聚集块的搭建，只要保证能将卷积模块逐层卷积得到的多个不同分辨率的特征图进行融合即可。
81.进一步地，为了增强事件检测网络对不同尺度目标的辨识能力，如图6和图7所示，事件检测网络的特征提取模块还可以包括特征自交互模块。图6是本技术实施例中提供的事件分割网络的另一种结构示意图，图7是本技术实施例中提供的特征自交互块的一种结构示意图。
82.特征自交互模块，包括多个特征自交互块(self-interaction module，sim)，每个特征自交互块sim包括卷积层conv、归一化层bn和激活层relu，如图5所示。特征自交互块模块，用于通过各特征自交互块块对各聚集特征图进一步进行特征提取和融合融合，得到城管区域图像的目标特征图。如图7所示，可以通过特征自交互块模块进行对聚集特征图1、聚集特征图2、聚集特征图3、聚集特征图4，依次得到目标特征图1、目标特征图2、目标特征图3、目标特征图4。
83.图7所示结构仅为特征自交互块的一种结构示意，不构成对特征自交互块结构的限制，可以理解的是，可以根据实际需求采用卷积层conv、归一化层bn、激活层relu、池化层pool和尺度调整resize自由地进行特征自交互块的搭建，只要保证能将多个不同分辨率的聚集特征图进行进一步的特征提取并融合即可。
84.(二)预测模块
85.预测模块，用于根据目标特征图对城管区域图像中的各像素进行分类，确定城管区域图像中类别为特征变化事件的像素点，并将类别为特征变化事件的像素点分割出来，从而可以得到城管区域图像中的事件分割区域。
86.其中，事件分割网络可以是语义分割网络、也可以是实例分割网络，在一实施例
中，事件分割网络可以通过如下步骤训练得到：
87.1、构建初步的分割网络。
88.例如，可以构建图4或图6所示的网络结构作为初步的分割网络，初步的分割网络可以包括特征提取模块和预测模块。其中，特征提取模块用于对样本图像进行特征提取得到样本图像的图像特征，预测模块用于基于样本图像的图像特征进行预测，输出样本图像的分割结果；分割结果包括样本图像内的特征变化事件的分割后连通区域、以及分割后连通区域对应的特征变化事件类别。
89.2、获取训练数据集。
90.其中，训练数据集包含多个样本图像，一部分样本图像可以是包含特征变化事件的图像，一部分样本图像可以是不包含特征变化事件的图像。训练数据集中每个样本进行了标注，标注信息包括特征变化事件的实际区域、以及实际区域对应的特征变化事件实际类别。
91.3、以样本的标注信息作为监督信息，采用训练数据集对初步的分割网络进行训练，直至初步的分割网络收敛时，得到训练后的事件分割网络。此时，可将训练好的事件分割网络应用于输出图像中的特征变化事件的分割结果。
92.其中，训练后的事件分割网络可以充分学习特征变化事件的所在区域与图像特征之间关系，从而可以精确地分割出图像中的特征变化事件。
93.其中，事件分割网络的训练过程与现有的分割模型的训练过程类似，对于没有详细说明的训练过程，可以参照现有分割模型的训练方式，在此不再赘述。
94.本技术实施例中，事件分割网络可以只针对一种类别的特征变化事件进行分割，也可以同时针对多种类别的特征变化事件进行分割，例如针对同时针对乱堆物料、暴露垃圾、积存渣土三种类别特征变化事件进行分割。
95.在一些实施例中，只针对一种类别的特征变化事件进行分割，此时，步骤203具体可以包括：通过事件分割网络中的特征提取模块，对城管区域图像进行特征提取得到城管区域图像的图像特征；通过事件分割网络中的预测模块基于城管区域图像的图像特征进行预测，得到城管区域图像的事件分割区域，以作为城管区域图像的事件分割结果。
96.在一些实施例中，同时针对多种类别的特征变化事件进行分割，此时，步骤203具体可以包括：通过事件分割网络中的特征提取模块，对城管区域图像进行特征提取得到城管区域图像的图像特征；通过事件分割网络中的预测模块基于城管区域图像的图像特征进行预测，得到城管区域图像内的事件分割区域、以及事件分割区域对应的特征变化事件类别，以作为城管区域图像的事件分割结果。
97.下面详细介绍事件分割网络的分割过程，分割过程具体可以包括步骤(1)～步骤(4)：
98.(1)通过所述事件分割网络中的卷积模块，对所述城管区域图像进行多尺度特征提取，得到所述城管区域图像的多个尺度特征图。
99.其中，多个尺度特征图是通过卷积模块进行逐层卷积，所得到多个分辨率不同的特征图。
100.(2)基于所述多个尺度特征图获取多个特征组合。
101.其中，每个特征组合包括至少两个相邻的尺度特征图。例如，如图4所示，分别可以
获取特征图n1～n3作为一个特征组合、特征图n2～n4作为一个特征组合、特征图n3～n5作为一个特征组合、特征图n3～n5作为一个特征组合。
102.(3)通过所述事件分割网络中的特征聚集模块，分别对每个所述特征组合进行特征提取并融合，得到所述城管区域图像的多个聚集特征图。
103.其中，多个聚集特征图是指通过特征聚集模块分别对不同特征组合进行提取并融合后，所得到多个不同的特征图。
104.具体地，通过特征聚集模块中的每个特征聚集块，针对每个特征组合进行卷积、归一化、激活后，得到一个聚集特征图。多个特征聚集块分别针对各特征组合进行卷积、归一化、激活后，可以得到多个聚集特征图。
105.(4)通过所述事件分割网络中的预测模块，基于多个所述聚集特征图进行预测处理，得到所述城管区域图像的事件分割结果。
106.在一些实施例中，可以直接将多个所述聚集特征图作为城管区域图像的目标特征图，通过事件分割网络中的预测模块，根据目标特征图对城管区域图像中的各像素进行分类，确定城管区域图像中类别为特征变化事件的像素点，并将类别为特征变化事件的像素点分割出来，从而可以得到城管区域图像中的事件分割区域。
107.由于在卷积神经网络中，分辨率较大的特征图通常具有低级别的详细图像特征，分辨率较小的特征图具有高级别的语义图像特征。本技术实施例的特征聚集模块融合不同分辨率的特征图，能“看见”不同层级的特征信息，既能看到全局，也能看到局部。因此，提高了感受野与上下文信息的提取能力，进而提高了城管区域图像的事件分割结果的分割精度，提高对特征变化事件的识别精度。
108.在另一些实施例中，可以通过事件分割网络中的特征自交互模块，分别对每个聚集特征图进行特征提取并融合，得到城管区域图像的目标特征图。再通过事件分割网络中的预测模块，根据目标特征图对城管区域图像中的各像素进行分类，确定城管区域图像中类别为特征变化事件的像素点，并从类别为特征变化事件的像素点分割出来，从而可以得到城管区域图像中的事件分割区域。
109.由于实际情况中，不同设备采集的图像尺寸不同，通过特征自交互模块可以学习同一目标在不同分辨率特征图上的表示，增强事件分割网络对不同尺度目标的辨识能力，解决了不同尺度特征变化事件的识别问题，从而提高事件分割网络的分割准确率。
110.204、基于所述事件检测结果和所述事件分割结果，确定所述城管区域图像的城管事件信息。
111.其中，城管事件信息是指城管区域图像内存在的城管事件的情况。城管事件信息用于城管区域图像内是否存在包括城管事件。城管事件信息可以包括城管事件的类别、城管事件的检测框、城管事件的分割区域、城管事件的截图、城管事件的位置等信息。
112.在一些实施例中，可以直接将事件检测结果和事件分割结果作为城管事件信息。其中，城管事件检测结果包括特征稳定类型的城管事件的检测框、城管事件的类别，事件分割结果包括特征变化类型的城管事件的事件分割区域、城管事件的类别。
113.在一些实施例中，还可以将城管事件的截图作为城管事件信息。其中，可以基于事件检测结果中的事件检测框截取特征稳定事件的图像、或者基于事件分割结果中的事件分割区域截取特征变化事件的图像，作为城管事件的截图。
114.在一些实施例中，还可以将城管事件的位置作为城管事件信息。其中，可以通过gps定位获取城管区域图像的采集位置，并将城管区域图像的采集位置作为城管事件的位置。
115.进一步地，为了便于城市管理，该城管事件的识别方法还包括：发送所述城管事件信息至所述城管事件的位置对应的目标城管终端；或者，在预设的显示平台显示所述城管事件信息。
116.进一步地，还可以根据城管事件的位置确定城管事件所属的城管辖区，并在显示平台上按照城管辖区显示各城管事件。
117.通过将城管事件信息发送至城管事件的位置对应的目标城管终端，可以在识别出城管事件后，将城管事件发送至相应辖区的城管人员，以便相应辖区的城管人员及时处理城管事件。通过在显示平台显示城管事件信息，可以在识别出城管事件后，及时将城管事件信息通知到相关的管理人员，便于城管事件的及时处理。
118.例如，通过事件检测网络得到的事件检测结果显示：城管区域图像中存在沿街晾晒，通过事件分割网络得到的事件分割结果显示：城管区域图像中存在暴露垃圾，则可以在城管区域图像截取沿街晾晒事件的图像、暴露垃圾事件的图像，作为城管事件信息在显示平台如城管终端上显示。
119.本技术实施例中，通过采用事件检测模型对特征稳定事件进行检测，从而可以准确地识别出因特征稳定而相对明显的城管事件；通过事件分割网络对特征变化事件进行分割，从而可以准确地识别出因特征易变化而相对不明显的城管事件。一方面，可以全面、精准地识别出因特征稳定而相对明显的城管事件、以及因特征易变化而相对不明显的城管事件，从而实现全面、精准地识别出城管区域内是否存在城管事件。另一方面，由于检测方式比分割方式可以更快地识别出城管事件，通过结合事件检测模型对特征稳定事件进行检测、事件分割网络对特征变化事件进行分割，既能保证全面、精准地识别出城管区域内是否存在城管事件，又能在一定程度上提高城管事件的识别速度。
120.进一步地，为了提升检测准确性，可以通过两个或以上的检测模型分别进行检测，结合两个或以上的检测模型对城管区域图像进行检测得到的特征稳定事件的检测框，确定城管区域图像的检测结果，此时，步骤202具体可以包括以下步骤2021～步骤2024：
121.2021、通过所述第一事件检测网络，对所述城管区域图像内的特征稳定事件进行检测处理，得到所述城管区域图像的第一事件检测框和所述第一事件检测框的类别。
122.其中，第一事件检测网络是对城管区域图像内的特征稳定事件进行检测，得到城管区域图像内的特征稳定事件的检测结果的检测模型。
123.第一事件检测框是通过第一事件检测网络检测得到的城管区域图像中的特征稳定事件的检测框。
124.第一事件检测框的类别是指第一事件检测框对应的特征稳定事件的类别，例如沿街晾晒。
125.2022、通过所述第二事件检测网络，对所述城管区域图像内的特征稳定事件进行检测处理，得到所述城管区域图像的第二事件检测框和所述第二事件检测框的类别。
126.其中，第二事件检测网络是对城管区域图像内的特征稳定事件进行检测，得到城管区域图像内的特征稳定事件的检测结果的检测模型。
127.第二事件检测框是通过第二事件检测网络检测得到的城管区域图像中的特征稳定事件的检测框。
128.第二事件检测框的类别是指第二事件检测框对应的特征稳定事件的类别，例如沿街晾晒。
129.这里，步骤2021第一事件检测网络的工作原理、步骤2022第二事件检测网络的工作原理与上述步骤202事件检测网络类似，为简化表述，此处不再赘述。不同的是，第一事件检测网络和第二事件检测网络是两种不同类型的检测网络，以便综合不同检测网络的检测结果确定城管区域图像的特征稳定事件的最终检测结果，进而提高城管事件的检测准确率。
130.例如，第一事件检测网络可以以yolov1网络为架构训练得到、第一事件检测网络可以以yolov2网络为架构训练得到。
131.2023、若所述第一事件检测框的类别和所述第二事件检测框的类别相同，则根据所述第一事件检测框和所述第二事件检测框，确定所述城管区域图像的目标事件检测框和所述目标事件检测框的类别。
132.其中，目标事件检测框是城管区域图像内特征稳定事件的检测框。如城管区域图像内沿街晾晒的检测框。
133.在一些实施例中，若第一事件检测框的类别和第二事件检测框的类别相同，则可以将第一事件检测框和第二事件检测框的重合区域的包围框，作为城管区域图像的目标事件检测框；并将第一事件检测框的类别或第二事件检测框的类别作为目标事件检测框的类别。若第一事件检测框的类别和第二事件检测框的类别不相同，则不作进一步处理。
134.例如，如图8所示，图8是本技术实施例中提供的目标事件检测框说明示意图。第一事件检测框对应的特征稳定事件的类别为“废弃家具”、第二事件检测框对应的特征稳定事件的类别也为“废弃家具”，则可以第一事件检测框和第二事件检测框的重合区域的包围框，作为城管区域图像的目标事件检测框；并将“废弃家具”作为目标事件检测框的类别。
135.在一些实施例中，若第一事件检测框的类别和第二事件检测框的类别相同，则进一步检测第一事件检测框与第二事件检测框的iou值。若第一事件检测框与第二事件检测框的交并比(intersection-over-union，iou)大于预设iou阈值，可以通过权重框融合的方式，将第一事件检测框和第二事件检测框进行加权平均，得到城管区域图像的目标事件检测框。若第一事件检测框与第二事件检测框的iou小于或等于预设iou阈值，则不作进一步处理。若第一事件检测框的类别和第二事件检测框的类别不相同，则不作进一步处理。
136.2024、基于所述所述目标事件检测框和所述目标事件检测框的类别，确定所述事件检测结果。
137.在一些实施例中，可以直接将目标事件检测框和目标事件检测框的类别，作为城管区域图像的事件检测结果。
138.由于城管区域图像中经常存在行人，某些特征稳定事件例如沿街晾晒与行人存在一定的相似性，容易造成行人误检测，进一步地，为了提高检测结果的准确性，还可以通过行人检测网络进行行人检测，得到城管区域图像内的行人检测框。通过判定行人检测框与目标事件检测框的重合度，判别是否为行人误检，以滤除误检的目标事件检测框。
139.此时，步骤2024之前还包括：通过训练后的行人检测网络，对所述城管区域图像进
行行人检测处理，得到所述城管区域图像内的行人检测框。
140.其中，行人检测网络可以通过如下步骤训练得到：
141.1、构建初步的行人检测网络。
142.例如，可以采用模型参数为默认值的(可用于检测任务)开源网络(如yolov网络)作为初步的行人检测网络，初步的行人检测网络可以包括特征提取模块和预测模块。其中，特征提取模块用于对样本图像进行特征提取得到样本图像的图像特征，预测模块用于基于样本图像的图像特征进行预测，得到样本图像的行人检测框。
143.2、获取训练数据集。
144.其中，训练数据集包含多个样本图像，一部分样本图像可以是包含行人的图像，一部分样本图像可以是不包含行人的图像。训练数据集中每个样本进行了标注，标注信息包括行人的检测框。
145.3、以样本的标注信息作为监督，采用训练数据集对初步的行人检测网络进行训练，直至初步的行人检测网络收敛时，得到训练后的行人检测网络。此时，可将训练好的行人检测网络应用于根据管区域图像进行行人检测处理，得到城管区域图像内的行人检测框。
146.对应地，步骤2024具体可以包括以下步骤a1～a3：
147.a1、检测所述行人检测框和所述目标事件检测框的重合度。
148.具体地，可以计算行人检测框与目标事件检测框的iou，作为行人检测框和目标事件检测框的重合度。
149.例如，行人检测框为矩形框1、目标事件检测框为矩形框2，行人检测框与目标事件检测框的iou＝(矩形框1∩矩形框2)/(矩形框1∪矩形框2)。
150.a2、当所述重合度小于预设重合度阈值时，将所述目标事件检测框和所述目标事件检测框的类别，作为所述事件检测结果。
151.a3、当所述重合度大于或等于预设重合度阈值时，滤除目标事件检测框，以避免行人误检测。
152.其中，预设重合度阈值的具体取值可以根据实际业务场景需求而设置，此处对预设重合度阈值的具体取值不作限制。
153.进一步地，为了提升分割准确性，可以通过两个或以上的分割模型分别进行分割，结合两个或以上的分割模型对城管区域图像进行分割得到的特征变化事件的分割区域，确定城管区域图像的分割结果，此时，步骤203具体可以包括以下步骤2031～步骤2034：
154.2031、通过所述第一事件分割网络，对所述城管区域图像内的特征变化事件进行分割处理，得到所述城管区域图像的第一事件分割区域和所述第一事件分割区域的类别。
155.其中，第一事件分割网络是对城管区域图像内的特征变化事件进行分割，得到城管区域图像内的特征变化事件的分割结果的分割模型。
156.第一事件分割区域是通过第一事件分割网络分割得到的城管区域图像中的特征变化事件的分割区域。
157.第一事件分割区域的类别是指第一事件分割区域对应的特征变化事件的类别，例如暴露垃圾。
158.2032、通过所述第二事件分割网络，对所述城管区域图像内的特征变化事件进行
分割处理，得到所述城管区域图像的第二事件分割区域和所述第二事件分割区域的类别。
159.其中，第二事件分割网络是对城管区域图像内的特征变化事件进行分割，得到城管区域图像内的特征变化事件的分割结果的分割模型。
160.第二事件分割区域是通过第二事件分割网络分割得到的城管区域图像中的特征变化事件的分割区域。
161.第二事件分割区域的类别是指第二事件分割区域对应的特征变化事件的类别，例如暴露垃圾。
162.这里，步骤2031第一事件分割网络的工作原理、步骤2032第二事件分割网络的工作原理与上述步骤203事件分割网络类似，为简化表述，此处不再赘述。不同的是，第一事件分割网络和第二事件分割网络是两种不同类型的分割网络，以便综合不同分割网络的分割结果确定城管区域图像的特征变化事件的最终分割结果，进而提高城管事件的分割准确率。
163.例如，第一事件分割网络可以以minet网络为架构训练得到、第一事件分割网络可以以poolnet网络为架构训练得到。
164.2033、若所述第一事件分割区域的类别和所述第二事件分割区域的类别，则根据所述第一事件分割区域和所述第二事件分割区域，确定所述城管区域图像的目标分割区域和所述目标分割区域的类别。
165.其中，目标分割区域是城管区域图像内特征变化事件的分割区域。如城管区域图像内暴露垃圾的分割区域。
166.在一些实施例中，若第一事件分割区域的类别和第二事件分割区域的类别相同，则可以将第一事件分割区域和第二事件分割区域的重合区域，作为城管区域图像的目标分割区域；并将第一事件分割区域的类别或第二事件分割区域的类别作为目标分割区域的类别。若第一事件分割区域的类别和第二事件分割区域的类别不相同，则不作进一步处理。
167.2034、基于所述目标分割区域和所述目标分割区域的类别，确定所述事件分割结果。
168.在一些实施例中，可以直接将目标分割区域和目标分割区域的类别，作为城管区域图像的事件分割结果。
169.进一步地，为了提高分割结果的准确性，还可以进一步滤除面积小于预设面积阈值的目标分割区域，而只保留面积大于或等于预设面积阈值的目标分割区域，作为城管区域图像的事件分割结果。此时步骤2034具体可以包括以下步骤b1～b3：
170.b1、检测所述目标分割区域的面积。
171.b2、若所述面积大于预设面积阈值，则将基于所述目标分割区域和所述目标分割区域的类别，以作为所述事件分割结果。
172.b3、当所述面积小于或等于预设面积阈值时，滤除目标分割区域，以提高分割精度。
173.例如，预设面积阈值为0.5cm2，某街道图像中，若暴露垃圾的分割区域的面积为2cm2、乱堆物料的分割区域的面积为0.1cm2，则可以滤除乱堆物料的分割区域，而将暴露垃圾的分割区域作为该街道图像的事件分割结果。
174.进一步地，为了提高事件检测网络和事件分割网络的识别精度，在人工核实城管
事件信息后，可以基于采用核实后的实际城管事件信息作为城管区域图像的标签信息，对事件检测网络、事件分割网络中的至少一者进行更新。
175.即该城管事件的识别方法还包括：获取基于所述城管事件信息核实后反馈的实际城管事件信息，其中，所述城管事件信息包括所述事件检测结果和所述事件分割结果；基于所述实际城管事件信息，对所述事件检测网络、所述事件分割网络中的至少一者进行更新。
176.例如，事件检测网络检测出城管区域图像存在无证游商事件，而人工核实后发现城管区域图像并存在无证游商事件、只存在出店经营事件，则对城管区域图像进行出店经营事件的标注、并利用城管区域图像对事件检测网络进行训练，以便提高事件检测网络的检测精度。
177.又如，事件分割网络分割出城管区域图像中的积存渣土事件，而人工核实后发现城管区域图像中积存渣土事件的分割区域存在较大的偏差，则可以对城管区域图像进行积存渣土事件区域的标注、并利用城管区域图像对事件分割网络进行训练，以便提高事件分割网络的分割精度。
178.为了更好实施本技术实施例中城管事件的识别方法，在城管事件的识别方法基础之上，本技术实施例中还提供一种城管事件的识别装置，如图9所示，为本技术实施例中城管事件的识别装置的一个实施例结构示意图，该城管事件的识别装置900包括：
179.获取单元901，用于获取待识别的城管区域图像；
180.检测单元902，用于通过训练后的事件检测网络，对所述城管区域图像内的特征稳定事件进行检测处理，得到所述城管区域图像的事件检测结果；
181.分割单元903，用于通过训练后的事件分割网络，对所述城管区域图像内的特征变化事件进行分割处理，得到所述城管区域图像的事件分割结果。
182.确定单元904，用于基于所述事件检测结果和所述事件分割结果，确定所述城管区域图像的城管事件信息。
183.在本技术的一些实施例中，所述事件检测网络包括第一事件检测网络和第二事件检测网络，所述检测单元902具体用于：
184.通过所述第一事件检测网络，对所述城管区域图像内的特征稳定事件进行检测处理，得到所述城管区域图像的第一事件检测框和所述第一事件检测框的类别；
185.通过所述第二事件检测网络，对所述城管区域图像内的特征稳定事件进行检测处理，得到所述城管区域图像的第二事件检测框和所述第二事件检测框的类别；
186.若所述第一事件检测框的类别和所述第二事件检测框的类别相同，则根据所述第一事件检测框和所述第二事件检测框，确定所述城管区域图像的目标事件检测框和所述目标事件检测框的类别；
187.基于所述所述目标事件检测框和所述目标事件检测框的类别，确定所述事件检测结果。
188.在本技术的一些实施例中，所述检测单元902具体用于：
189.通过训练后的行人检测网络，对所述城管区域图像进行行人检测处理，得到所述城管区域图像内的行人检测框；
190.所述基于所述所述目标事件检测框和所述目标事件检测框的类别，确定所述事件检测结果，包括：
191.检测所述行人检测框和所述目标事件检测框的重合度；
192.当所述重合度小于预设重合度阈值时，将所述目标事件检测框和所述目标事件检测框的类别，作为所述事件检测结果。
193.在本技术的一些实施例中，所述事件分割网络包括第一事件分割网络和第二事件分割网络，所述分割单元903具体用于：
194.通过所述第一事件分割网络，对所述城管区域图像内的特征变化事件进行分割处理，得到所述城管区域图像的第一事件分割区域和所述第一事件分割区域的类别；
195.通过所述第二事件分割网络，对所述城管区域图像内的特征变化事件进行分割处理，得到所述城管区域图像的第二事件分割区域和所述第二事件分割区域的类别；
196.若所述第一事件分割区域的类别和所述第二事件分割区域的类别相同，则根据所述第一事件分割区域和所述第二事件分割区域，确定所述城管区域图像的目标分割区域和所述目标分割区域的类别；
197.基于所述目标分割区域和所述目标分割区域的类别，确定所述事件分割结果。
198.在本技术的一些实施例中，所述分割单元903具体用于：
199.检测所述目标分割区域的面积；
200.若所述面积大于预设面积阈值，则将基于所述目标分割区域和所述目标分割区域的类别，以作为所述事件分割结果。
201.在本技术的一些实施例中，所述分割单元903具体用于：
202.通过所述事件分割网络中的卷积模块，对所述城管区域图像进行多尺度特征提取，得到所述城管区域图像的多个尺度特征图；
203.基于所述多个尺度特征图获取多个特征组合，其中，每个所述特征组合包括至少两个相邻的尺度特征图；
204.通过所述事件分割网络中的特征聚集模块，分别对每个所述特征组合进行特征提取并融合，得到所述城管区域图像的多个聚集特征图；
205.通过所述事件分割网络中的预测模块，基于多个所述聚集特征图进行预测处理，得到所述城管区域图像的事件分割结果。
206.在本技术的一些实施例中，所述分割单元903具体用于：
207.通过所述事件分割网络中的特征自交互模块，分别对每个所述聚集特征图进行特征提取并融合，得到所述城管区域图像的目标特征图；
208.通过所述事件分割网络中的预测模块，基于所述目标特征图进行预测处理，得到所述城管区域图像的事件分割结果。
209.在本技术的一些实施例中，所述城管事件的识别装置还包括更新单元(图中未示出)，所述更新单元具体用于：
210.获取基于所述城管事件信息核实后反馈的实际城管事件信息，其中，所述城管事件信息包括所述事件检测结果和所述事件分割结果；
211.基于所述实际城管事件信息，对所述事件检测网络、所述事件分割网络中的至少一者进行更新。
212.在本技术的一些实施例中，所述城管事件信息包括城管事件的类别、城管事件的截图和城管事件的位置中的至少一者，所述城管事件的识别装置还包括通知单元(图中未
示出)，所述通知单元具体用于：
213.发送所述城管事件信息至所述城管事件的位置对应的目标城管终端；
214.或者，在预设的显示平台显示所述城管事件信息。
215.具体实施时，以上各个单元可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个单元的具体实施可参见前面的方法实施例，在此不再赘述。
216.由于该城管事件的识别装置可以执行本技术如图1至图8对应任意实施例中城管事件的识别方法中的步骤，因此，可以实现本技术如图1至图8对应任意实施例中城管事件的识别方法所能实现的有益效果，详见前面的说明，在此不再赘述。
217.此外，为了更好实施本技术实施例中城管事件的识别方法，在城管事件的识别方法基础之上，本技术实施例还提供一种电子设备，参阅图10，图10示出了本技术实施例电子设备的一种结构示意图，具体的，本技术实施例提供的电子设备包括处理器1001，处理器1001用于执行存储器1002中存储的计算机程序时实现如图1至图8对应任意实施例中城管事件的识别方法的各步骤；或者，处理器1001用于执行存储器1002中存储的计算机程序时实现如图9对应实施例中各单元的功能。
218.示例性的，计算机程序可以被分割成一个或多个模块/单元，一个或者多个模块/单元被存储在存储器1002中，并由处理器1001执行，以完成本技术实施例。一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序在计算机装置中的执行过程。
219.电子设备可包括，但不仅限于处理器1001、存储器1002。本领域技术人员可以理解，示意仅仅是电子设备的示例，并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如电子备还可以包括输入输出设备、网络接入设备、总线等，处理器1001、存储器1002、输入输出设备以及网络接入设备等通过总线相连。
220.处理器1001可以是中央处理单元(central processing unit，cpu)，还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现成可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，处理器是电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分。
221.存储器1002可用于存储计算机程序和/或模块，处理器1001通过运行或执行存储在存储器1002内的计算机程序和/或模块，以及调用存储在存储器1002内的数据，实现计算机装置的各种功能。存储器1002可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据电子设备的使用所创建的数据(比如音频数据、视频数据等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(smart media card，smc)，安全数字(secure digital，sd)卡，闪存卡(flash card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
222.所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的城管
事件的识别装置、电子设备及其相应单元的具体工作过程，可以参考如图1至图8对应任意实施例中城管事件的识别方法的说明，具体在此不再赘述。
223.本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。
224.为此，本技术实施例提供一种计算机可读存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以执行本技术如图1至图8对应任意实施例中城管事件的识别方法中的步骤，具体操作可参考如图1至图8对应任意实施例中城管事件的识别方法的说明，在此不再赘述。
225.其中，该计算机可读存储介质可以包括：只读存储器(rom，read only memory)、随机存取存储器(ram，random access memory)、磁盘或光盘等。
226.由于该计算机可读存储介质中所存储的指令，可以执行本技术如图1至图8对应任意实施例中城管事件的识别方法中的步骤，因此，可以实现本技术如图1至图8对应任意实施例中城管事件的识别方法所能实现的有益效果，详见前面的说明，在此不再赘述。
227.以上对本技术实施例所提供的一种城管事件的识别方法、装置、电子设备及计算机可读存储介质进行了详细介绍，本文中应用了具体个例对本技术的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本技术的方法及其核心思想；同时，对于本领域的技术人员，依据本技术的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本技术的限制。