基于计算机视觉辅助的园区安全态势感知方法及系统与流程

本技术涉及数据分析，具体涉及基于计算机视觉辅助的园区安全态势感知方法及系统。

背景技术：

1、园区视频监控系统已普遍部署，通过分布在各个关键点位的摄像头实现了园区的基本覆盖，能够对园区内的人员和车辆通行情况进行初步的实时监视与录像存储。然而，当前绝大多数园区的视频监控仍停留在单点、孤立的监测模式，各摄像头仅独立完成其所负责局部区域的画面采集与显示，需要同时面对多路分割画面进行人工观察，各点位之间的视频数据缺乏内在关联与协同分析能力，园区视频监控系统本质上仅充当事后追溯的工具，难以在事件发生过程中提供有价值的态势研判支持。由于园区内各安全要素的信息呈碎片化分布，同一人员在各个摄像头下的出现被记录为彼此孤立的离散点位，无法自动将其串联为一条完整且连续的行动轨迹，也无法从全局维度刻画人员或车辆的行为规律与运动意图。对于隐蔽性违规动线，仅凭肉眼观察多路画面几乎无法及时察觉，导致大量极富研判价值的信息湮没于海量的视频数据之中，严重制约了园区的安全防控。

2、综上所述，现有技术中存在由于园区内各安全要素处于单点监控状态，缺乏对跨时空行为的连续刻画与深度理解，导致安保人员难以发现隐蔽的违规动线、无法识别潜在的风险模式，进一步影响园区安全性的技术问题。

技术实现思路

1、本技术的目的是提供基于计算机视觉辅助的园区安全态势感知方法及系统，用以解决现有技术中存在由于园区内各安全要素处于单点监控状态，缺乏对跨时空行为的连续刻画与深度理解，导致安保人员难以发现隐蔽的违规动线、无法识别潜在的风险模式，进一步影响园区安全性的技术问题。

2、为了达到上述目的，本技术提供了基于计算机视觉辅助的园区安全态势感知方法及系统。

3、第一方面，本技术提供了基于计算机视觉辅助的园区安全态势感知方法，所述基于计算机视觉辅助的园区安全态势感知方法通过基于计算机视觉辅助的园区安全态势感知系统实现，其中，所述基于计算机视觉辅助的园区安全态势感知方法包括：实时采集园区内包含视频图像、音频信号的多源传感数据；通过边缘计算节点接收所述多源传感数据，执行轻量化推理，形成局部态势感知信息；将各边缘计算节点生成的局部态势感知信息上传至云端服务器，云端服务器汇聚园区全区域的态势感知信息，构建时空轨迹图谱，基于所述时空轨迹图谱，按照预设的分级预警模型进行态势研判；当研判结果达到预警触发条件时，生成预警信息推送至移动端与指挥中心，响应于指挥中心或移动端的语音对讲与喊话指令，通过前端部署的音频输出设备对现场进行语音干预。

4、可选地，复用园区内既有的视频监控摄像头，并在摄像头所在点位加装拾音器，实时采集包含视频图像、音频信号的多源传感数据。

5、可选地，对视频图像进行目标检测，提取视频画面中的人员和车辆；对人员利用人体骨架关键点追踪，识别异常行为；对拾音器采集的音频信号进行语音关键词唤醒检测与声强检测，识别异常声音；结合所述异常行为、异常声音，定位异常目标；针对异常目标，对不同摄像头的视频图像中同一异常目标进行跨镜轨迹关联，生成跨镜轨迹关联数据；以所述异常行为、跨镜轨迹关联数据以及所述异常声音生成所述局部态势感知信息。

6、可选地，利用人脸识别对视频图像中的异常目标进行身份识别，并提取异常目标的外观特征；当同一异常人员在不同摄像头的视频图像中被检测到时，基于所述身份识别结果与外观特征的相似度匹配，将同一异常人员在不同摄像头下的时空位置进行关联，形成对应异常人员在园区内的连续行动轨迹；以每一个异常人员的连续行动轨迹生成所述跨镜轨迹关联数据。

7、可选地，云端服务器接收各边缘计算节点上传的局部态势感知信息，将不同边缘节点上报的同一异常目标在相邻时间窗口内、相邻空间区域内的位置信息进行合并去重，形成各个异常目标在园区内的完整时空轨迹数据；以园区电子地图为底图，将各个异常目标的完整时空轨迹数据叠加至所述底图上，构建所述时空轨迹图谱；针对所述时空轨迹图谱中的每一个人员或车辆，并行执行单点规则研判、时序模式研判以及关联关系研判，当任一研判级别触发预警条件时，确定对应的预警类型及预警等级，生成所述预警信息。

8、可选地，所述时空轨迹图谱包含各人员与车辆在园区内各时间点的位置坐标、驻留时长、行进方向及经过点位序列。

9、可选地，单点规则研判具体为：将人员或车辆的当前位置与预设的多类空间区域进行空间关系判定，当人员或车辆的位置落入任一预设空间区域时触发对应类型的单点预警条件；其中，所述预设的多类空间区域至少包括禁入区域、重点监控区域及临时管控区域。

10、可选地，时序模式研判具体为：对人员或车辆在预设时间窗口内的轨迹序列进行时序分析，当轨迹序列符合预设的异常时序模式时触发时序预警条件；所述预设的异常时序模式至少包括异常出现模式、异常驻留模式、超时滞留模式、违规通行模式以及缺勤模式。

11、可选地，关联关系研判具体为：对多个人员或车辆的轨迹进行时空交叠分析，当两个以上人员或车辆在预设时空窗口内出现轨迹重合时触发关联预警条件。

12、第二方面，本技术还提供了基于计算机视觉辅助的园区安全态势感知系统，用于执行如第一方面所述的基于计算机视觉辅助的园区安全态势感知方法，其中，所述基于计算机视觉辅助的园区安全态势感知系统包括：数据采集模块，用于实时采集园区内包含视频图像、音频信号的多源传感数据；轻量化推理模块，用于通过边缘计算节点接收所述多源传感数据，执行轻量化推理，形成局部态势感知信息；态势研判模块，用于将各边缘计算节点生成的局部态势感知信息上传至云端服务器，云端服务器汇聚园区全区域的态势感知信息，构建时空轨迹图谱，基于所述时空轨迹图谱，按照预设的分级预警模型进行态势研判；预警信息推送模块，用于当研判结果达到预警触发条件时，生成预警信息推送至移动端与指挥中心，响应于指挥中心或移动端的语音对讲与喊话指令，通过前端部署的音频输出设备对现场进行语音干预。

13、本技术中提供的一个或多个技术方案，至少具有如下技术效果或优点：

14、通过实时采集园区内包含视频图像、音频信号的多源传感数据；通过边缘计算节点接收所述多源传感数据，执行轻量化推理，形成局部态势感知信息；将各边缘计算节点生成的局部态势感知信息上传至云端服务器，云端服务器汇聚园区全区域的态势感知信息，构建时空轨迹图谱，基于所述时空轨迹图谱，按照预设的分级预警模型进行态势研判；当研判结果达到预警触发条件时，生成预警信息推送至移动端与指挥中心，响应于指挥中心或移动端的语音对讲与喊话指令，通过前端部署的音频输出设备对现场进行语音干预。也就是说，通过融合视频图像与音频信号的协同感知，实现对多元安全事件的全天候主动侦测；利用边缘端实时推理与云端跨镜轨迹关联，精准还原人员行动意图并自动判定风险等级；同时打通前端音频输出设备的反向控制链路，使指挥中心与现场安保人员能够及时发起远程语音喊话与威慑的技术手段，将安全防线由事后追溯提前至事中及时阻断，使高风险事件在萌芽阶段即受到强力干预与压制，大幅压缩应急处置响应窗口期，从而切实提升园区安全防护能力。

15、上述说明仅是本技术技术方案的概述，为了能够更清楚了解本技术的技术手段，而可依照说明书的内容予以实施，并且为了让本技术的上述和其他目的、特征和优点能够更明显易懂，以下特举本技术的具体实施方式。应当理解，本部分所描述的内容并非旨在标识本技术的实施例的关键或重要特征，也不用于限制本技术的范围。本技术的其他特征将通过以下的说明书而变得容易理解。