基于时空环境感知与视觉语义映射的违规事件判别方法和装置与流程

本发明涉及城市管理的，具体涉及一种基于时空环境感知与视觉语义映射的违规事件判别方法和装置。

背景技术：

1、随着城市精细化治理水平的不断提高，城市道路、商业街区、社区出入口、学校周边、医院周边、公园广场、停车区域和消防通道等场景中，越来越多地部署视频监控设备、巡检设备和城市管理平台，用于对机动车违停、非机动车乱停放、占道经营、店外经营、垃圾违规堆放、施工围挡违规、消防通道占用、盲道占用、公交站台占用等城市违规事件进行识别和处置。

2、现有技术中，城市违规事件识别通常依赖视频图像识别模型对监控画面中的目标对象进行检测、分类、跟踪和行为识别。但是，城市违规事件并不只是由目标对象本身或目标行为本身决定，而是与目标对象所处的具体城市空间语义密切相关。此外，城市违规事件往往具有明显的时空约束和规则约束。现有技术如果仅采用固定规则或单一模型进行违规判别，难以同时考虑目标对象身份、空间占用比例、行为持续时间、环境状态、许可备案信息、例外规则和动态管控规则。尤其在动态规则与城市空间图层分别维护的情况下，还可能出现规则库已经更新而空间图层未同步更新的问题，导致违规判别依据不一致，影响系统判别结果的稳定性和可信度。

3、因此，需要提供一种能够融合视频视觉识别、城市空间语义映射、时空环境感知、规则增强判别、快速例外筛查以及动态图层一致性校验的城市违规事件判别方法，以提高城市违规事件识别和判别的准确性、适应性和可解释性。

技术实现思路

1、本发明的目的在于提供基于时空环境感知与视觉语义映射的城市违规事件判别方法，解决现有城市违规事件识别方法主要依赖视频图像中的目标检测和行为识别结果，以及违规事件判别方法多采用固定规则或单一模型进行判别等问题。

2、本发明第一方面提供一种基于时空环境感知与视觉语义映射的城市违规事件判别方法，所述方法包括：

3、获取城市监测区域的多源感知数据，所述多源感知数据包括视频图像数据、摄像设备参数、拍摄时间信息、城市空间数据、环境状态数据、许可备案数据和城市管理规则数据；

4、对所述视频图像数据进行视觉目标识别和行为特征提取，得到目标对象的视觉识别结果，所述视觉识别结果至少包括目标对象类别、目标对象位置、目标对象占用区域、目标对象轨迹、目标对象行为状态和目标对象身份辅助信息；

5、根据所述目标对象身份辅助信息和所述许可备案数据，确定所述目标对象是否属于例外对象；

6、若所述目标对象不属于例外对象，则根据所述摄像设备参数和所述城市空间数据，建立视频图像坐标与城市空间坐标系之间的映射关系，并基于所述映射关系将所述目标对象映射至城市空间坐标系中；

7、构建城市空间语义图层，并基于所述目标对象的视觉语义特征向量、空间单元的空间语义特征向量以及所述目标对象与空间单元之间的边属性向量，生成视觉语义映射结果；

8、融合所述视觉语义映射结果、所述目标对象行为状态、所述拍摄时间信息、所述环境状态数据、所述许可备案数据和所述城市管理规则数据，生成候选城市事件的事件上下文特征；

9、将所述事件上下文特征输入规则增强的时空语义违规判别模型，确定所述候选城市事件的违规类别、违规等级和违规置信度；

10、根据所述违规类别、所述违规等级和所述违规置信度，生成违规事件证据链并输出判别结果。

11、第二方面本发明提供一种基于时空环境感知与视觉语义映射的城市违规事件判别装置，所述装置包括：

12、数据获取模块，用于获取城市监测区域的多源感知数据；所述多源感知数据包括视频图像数据、摄像设备参数、拍摄时间信息、城市空间数据、环境状态数据、许可备案数据和城市管理规则数据；

13、视觉识别模块，用于对所述视频图像数据进行视觉目标识别和行为特征提取，得到目标对象的视觉识别结果，所述视觉识别结果至少包括目标对象类别、目标对象位置、目标对象占用区域、目标对象轨迹、目标对象行为状态和目标对象身份辅助信息；

14、快速例外筛查模块，用于根据所述目标对象身份辅助信息和所述许可备案数据，确定所述目标对象是否属于例外对象；

15、空间映射模块，用于若所述目标对象不属于例外对象，则根据所述摄像设备参数和所述城市空间数据，建立视频图像坐标与城市空间坐标系之间的映射关系，并基于所述映射关系将所述目标对象映射至城市空间坐标系中；

16、语义映射模块，用于基于所述目标对象的视觉语义特征向量、空间单元的空间语义特征向量以及所述目标对象与空间单元之间的边属性向量，生成视觉语义映射结果；

17、上下文生成模块，用于融合所述视觉语义映射结果、所述目标对象行为状态、所述拍摄时间信息、所述环境状态数据、所述许可备案数据和所述城市管理规则数据，生成候选城市事件的事件上下文特征；

18、违规判别模块，用于将所述事件上下文特征输入规则增强的时空语义违规判别模型，确定所述候选城市事件的违规类别、违规等级和违规置信度；

19、证据链生成模块，用于根据所述违规类别、所述违规等级和所述违规置信度，生成违规事件证据链并输出判别结果。

20、与现有技术相比，本发明通过获取城市监测区域的多源感知数据，对视频图像进行视觉目标识别和行为特征提取，并基于摄像设备参数和城市空间数据建立视频图像坐标与城市空间坐标之间的映射关系，使视频图像中的目标对象能够被转换到真实城市空间坐标中。进一步地，本发明构建城市空间语义图层，并基于目标对象的视觉语义特征、空间单元的空间语义特征以及二者之间的空间关系构建目标对象与空间单元的边属性向量关系图，再利用空间关系图网络生成视觉语义映射结果，从而能够确定目标对象对应的主空间语义、辅助空间语义、空间占用比例、空间关系置信度和潜在违规先验标签。由此，系统不仅能够识别图像中出现的目标对象，还能够判断该目标对象与公交站台、消防通道、盲道、人行道、禁停区域、外摆许可区等城市管理空间之间的关系，提高城市违规事件空间语义识别的准确性，降低因空间语义判断不清造成的误报和漏报。

21、本发明还通过快速例外筛查、事件上下文特征生成、时序行为建模、规则增强判别、注意力融合模型以及动态图层与规则库版本一致性校验，对候选城市事件进行综合判别。对于具有应急保障属性、执法属性或许可备案属性的目标对象，可以提前生成例外记录，避免其进入高开销违规判别流程，降低计算资源消耗；对于进入后续判别流程的候选城市事件，可以综合视觉行为特征、空间语义特征、时间状态特征、环境状态特征、规则语义特征、历史事件特征和时序动态特征，确定违规类别、违规等级和违规置信度。同时，通过将动态状态语义图层与规则版本号绑定，并在判别前进行一致性校验，可以避免动态规则与空间图层数据不一致导致的判别错误。进一步地，本发明生成包含事件类型、发生时间、发生地点、目标轨迹、空间语义区域、规则版本号、动态图层版本号、持续时间、占用比例、违规置信度和判别原因的违规事件证据链，使判别结果具有较强的可解释性和可复核性，便于城市管理平台派单、执法终端处置和人工复核。

22、上述说明仅是本公开技术方案的概述，为了能更清楚了解本公开的技术手段，而可依照说明书的内容予以实施，并且为让本公开的上述和其他目的、特征和优点能够更明显易懂，以下特举较佳实施例，并配合附图，详细说明如下。