融合深度学习的校园全景安防监控管理系统

本发明涉及图像通信监控，更具体地说，涉及融合深度学习的校园全景安防监控管理系统。

背景技术：

1、校园安全是社会关注的重点，传统的校园安防监控系统主要依赖离散部署的固定摄像头和人工盯屏，存在监控盲区多、响应滞后、信息割裂等突出问题，随着深度学习技术的发展，部分系统开始引入视频智能分析算法，实现人员识别与异常行为检测，但大多仍局限于单摄像头场景，缺乏跨摄像头的身份关联与全景态势感知能力。

2、如参考公开号为cn121075083a的专利申请涉及有一种基于深度学习的校园安防管理系统，是通过门禁身份采集、多摄像头跨身份关联和轨迹偏移分析实现风险评分与告警，但该方案仍存在以下不足：

3、（1）监控画面仍以离散的单摄像头画面呈现，未形成统一的全景态势视图，安保人员需在多个画面间频繁切换，易产生视觉疲劳和信息遗漏；

4、（2）主要依赖“轨迹偏移”间接评估风险，未能直接识别打架、跌倒、攀爬等具体异常行为；

5、（3）当异常目标在校园内移动时，该方案虽然能够跨摄像头关联身份，但各摄像头的画面仍然是独立显示的，缺乏将相邻区域视频图像进行全景融合的机制，安保人员需要手动切换画面才能跟踪目标的跨区域移动，导致追踪连续性差、视野跳变明显。

6、针对上述问题，部分的传统技术提出多路视频全景拼接方案，将多个摄像头的画面融合为一张全景图像，但通过对全校所有摄像头进行一次性全局拼接，计算量大、带宽占用高，且拼接后的全景画面包含大量无关区域的信息，造成计算资源浪费，同时，这类方案缺乏事件驱动机制，无法根据异常事件的发生位置和异常目标的移动趋势动态调整拼接范围，也难以在异常目标跨区域移动时实现监测范围的平滑扩展。

7、因此，针对上述技术问题，现提出融合深度学习的校园全景安防监控管理系统，通过区域划分的独立子全景拼接以及基于事件驱动进行跨区域渐进式全景拼接，以解决在现有技术中的监控画面离散、跨区域追踪连续性差、缺乏预测性视野扩展、计算资源浪费等问题。

技术实现思路

1、本发明目的在于解决实际的技术缺陷情形，现提供融合深度学习的校园全景安防监控管理系统。

2、本发明的目的可以通过以下技术方案实现：融合深度学习的校园全景安防监控管理系统，包括：

3、区域划分与子全景拼接模块，用于根据校园的地理位置分布将校园监控区域划分为多个子监测区域，每个子监测区域内部署有至少一个摄像头，以预设的学校全景设计图中的全局坐标系为基准建立虚拟全局坐标系，并为每个子监测区域预先标定其子区域坐标系到虚拟全局坐标系的变换矩阵，对每个子监测区域内的摄像头采集的视频图像进行时空同步拼接，生成若干个子全景视频图像；

4、异常事件判断与报警模块，用于对各子全景视频图像进行实时深度学习分析，识别目标并追踪轨迹，判断子监测区域内是否发生异常事件，若是，将其标记为事件区域，并锁定异常目标进行风险评估以生成报警信号；

5、轨迹追踪与联动监测模块，响应报警信号，采用时序深度学习网络，根据异常目标的历史轨迹序列，获取未来预设时间段内异常目标的预测轨迹，并基于预测轨迹计算异常事件目标与事件区域边缘的预测安全距离及预测跨越时间，生成邻近区域联动监测信号，确定与事件区域地理相邻的至少一个子监测区域为共享监测区域；

6、渐进式全景拼接模块，用于在触发邻近区域联动监测信号后，将共享监测区域与事件区域的子全景视频图像分别映射至所述虚拟全局坐标系下，并根据两者在虚拟全局坐标系中的空间相邻关系确定拼接边界，在拼接边界处采用多频段融合或虚拟画布拼接或三维深度图视差补偿方式进行融合过渡，生成全景视频拼接图像，采用深度学习驱动的动态范围调节策略，调整参与实时拼接的子监测区域范围以供持续追踪。

7、进一步的，所述区域划分模块根据以下至少一种依据划分子监测区域：

8、校园的地理位置分区，包括校门口区域、教学楼区域、操场区域、宿舍区域、食堂区域、围墙周界区域；摄像头的物理部署位置及各摄像头覆盖范围的重叠程度；校园建筑物的楼层和房间布局。

9、进一步的，所述子全景拼接模块采用基于gpu并行管线的实时拼接算法将每个子监测区域内的摄像头采集的视频图像进行时空同步拼接。

10、进一步的，判断子监测区域内是否发生异常事件的具体流程包括：

11、s1、采用目标检测与跟踪模型对子全景视频图像中的每一帧进行人员识别检测，为每个检测到的人员分配稳定的跨帧id，记录运动轨迹；

12、s2、采用姿态估计模型实时提取人体的关键点坐标，通过计算关键点之间的夹角识别姿态特征，将连续n帧的姿态特征序列输入预训练的时序行为识别模型，输出异常行为类型及置信度，类型包括打架斗殴、跌倒、攀爬翻越、危险区域入侵、人员聚集和长时间滞留在内的异常行为；

13、s3、当某类异常行为类型的置信度超过预设阈值时，判断当前子监测区域内发生有异常事件，标记为事件区域，将该目标标记为异常目标。

14、进一步的，对异常目标进行风险评估并生成报警信号的具体流程包括：

15、t1、锁定事件区域的异常目标，记录事件起始时间、异常目标id及异常行为类型、事件区域位置，统一归纳为异常事件内容；

16、t2、根据异常事件内容提取多维度风险特征，包括行为危险度系数、目标身份系数、动态趋势系数、区域敏感系数、时空背景系数；

17、t3、采用加权评分模型计算风险评分，根据风险评分确定风险等级，包括低风险、中风险、高风险，根据风险等级匹配多级报警信号。

18、进一步的，生成邻近区域联动监测信号的具体流程包括：

19、获取异常目标在过去t秒内的历史轨迹点序列，将历史轨迹点序列输入预先训练的时序深度学习网络，该时序深度学习网络采用transformer架构，输出未来预测时长内的预测轨迹点序列；

20、获取当前事件区域的边界线数学表达l_boundary，对于预测轨迹点序列中的每一个预测点，计算该点到当前事件区域边界的最短欧氏距离，标记为安全距离，得到预测安全距离序列；

21、在预测安全距离序列中，检测是否存在未来某一时刻使得安全距离≤预设的联动触发距离阈值，若存在，则记录第一个满足安全距离≤预设的联动触发距离阈值的未来抵达时刻，并计算未来抵达时刻与当前时刻的时间差，标记为预测跨越时间，当预测跨越时间小于预设的风险时间阈值时，生成邻近区域联动监测信号。

22、进一步的，自适应调整参与实时拼接的子监测区域范围以供持续追踪的具体流程包括：

23、构建深度强化学习范围调节模型，所述模型以当前拼接范围内的子区域数量、异常目标的预测安全距离序列、边缘计算节点的资源占用率为状态输入，以扩大拼接范围、缩小拼接范围、保持当前拼接范围为动作输出，这里的资源占用率包括gpu利用率、显存占用率和内存占用率中的至少一种；

24、所述深度强化学习模型以最小化资源消耗同时保证异常目标始终处于拼接视野内为优化目标，通过奖励信号驱动模型参数更新；

25、在实时追踪过程中，周期性将当前状态输入所述模型，根据模型输出的动作执行相应操作：

26、若输出为扩大拼接范围，则根据异常目标的预测移动方向，将共享监测区域添加至当前拼接范围，触发共享监测区域的子全景视频图像与当前事件区域的子全景视频图像融合拼接；

27、若输出为缩小拼接范围，则执行跨区域切换操作，移除历史事件区域，使其退出拼接，释放计算资源，且将共享监测区域更新为新的事件区域；

28、若输出为保持当前拼接范围，则维持现有拼接区域组合不变；

29、进一步的，跨区域切换的触发条件为：当异常目标完全离开当前事件区域并进入共享监测区域时，异常目标在当前事件区域内连续10帧未被检测到，在共享监测区域内连续5帧被检测到，且异常目标越过共享监测区域边界线的深度超过预设的联动触发距离阈值，将当前事件区域标记为历史事件区域，使其退出实时拼接，将共享监测区域更新为新的事件区域。

30、相比于现有技术，本发明的优点在于：

31、1、本发明是将校园监控区域按地理位置划分为多个子监测区域，各区域内独立进行时空同步子全景拼接，并建立虚拟全局坐标系及预先标定各子区域到全局坐标系的变换矩阵，在实时追踪模式下，对各子全景视频图像进行实时深度学习分析，识别目标并追踪轨迹，标记事件区域并锁定异常目标，以预测安全距离序列触发邻近区域联动监测信号，确定邻近共享监测区域，针对不同空间布局条件分别采用多频段融合、虚拟画布拼接及三维深度图视差补偿三种融合策略，将事件区域与共享监测区域的子全景无缝拼接为统一的全景画面；

32、随着异常目标跨区域移动动态执行“扩大拼接范围、缩小拼接范围、保持当前拼接范围”的自适应子全景拼接调节，实现全局监控资源从“一次性全量拼接”向“按需分层拼接+事件驱动式扩展+动态收缩释放”的根本转变，相比传统全局全景拼接降低实时计算负载和带宽占用，显著提升校园安防监控系统的可扩展性、部署灵活性。

33、2、本发明还将深度学习贯穿“异常感知→轨迹预测→子全景拼接决策→执行”全链条：对各子全景视频图像进行实时深度学习分析进行异常行为识别与目标跟踪，采用时序网络预测异常目标的未来轨迹及跨越区域边界的预测安全距离序列，并采用深度强化学习模型动态决策拼接范围的调整策略，实现了从被动式固定阈值联动到主动式预测性自适应联动的跨越，以及从规则驱动的拼接范围调节到数据驱动的智能范围调节的升级，以达到在异常目标尚未进入相邻区域时即提前触发跨区域全景拼接，有效消除监控盲区和视野跳变，同时根据实时资源占用率动态分配计算资源，避免边缘节点过载，全面提升系统在复杂校园环境下的响应速度、资源利用效率和决策智能化水平。