面向监管场所的基于区域互斥的多摄像头独处状态识别方法及系统

摘要: 本发明涉及面向监管场所的基于区域互斥的多摄像头独处状态识别方法及系统,属于计算机视觉。背景技术:1、在一些监管场所,常常需要对重点关注人员、单独关押对象以及存在...
面向监管场所的基于区域互斥的多摄像头独处状态识别方法及系统

本发明涉及面向监管场所的基于区域互斥的多摄像头独处状态识别方法及系统,属于计算机视觉。

背景技术:

1、在一些监管场所,常常需要对重点关注人员、单独关押对象以及存在潜在隐患风险的人员进行重点管控,关注其是否处于“独处状态”,以预防违规行为、自伤自残和突发事件等情况;作为监管场景的重要安全指标之一,“人员是否独处”的研判具有重要的意义。

2、传统的视频监控系统常常采用单摄像头对监管场所进行监控,然而对于室内的监管场所来说,空间中存在着床铺、隔断、立柱等结构物或者由于摄像头探照范围不足,容易形成遮挡区域和视角盲区;当管控人员进入以上范围时,监测系统将不会进行实时预警,从而导致监管风险。为了解决单摄像头检测存在的缺陷,通常采用多个摄像头进行补盲;但是多摄像头的部署也存在问题:在同一场景下部署两个摄像头往往存在着互相重叠的探照区域,当监管人员进入这一个区域时,对于这两个摄像头智能检测模型(如yolo、faster r-cnn等)将会将其识别为两个人,导致系统判定监管场所内存在着多个人,从而误判为“不存在独处”,这种误判将会带来潜在的监管风险。

3、若针对以上问题采用去重处理,一方面,现有跨摄像头人员识别方法(如reid)依赖大规模模型训练、特征匹配、摄像头标定等复杂过程,不适合在监管场合大规模、低成本部署;另一方面,监管场所中监管人员常常采用统一服制,室内环境中的遮挡以及光照变化等问题也给reid等方法带来了不小的挑战。

4、因此,现有的“独处状态”判定需求迫切需要一种无需复杂reid、无需改变摄像布局,同时能够保证高准确度的多摄像头独处状态识别方法,以减少误判,提高重点人员监控的可靠性与安全性。

技术实现思路

1、针对单摄像头检测“独处”存在着视角盲区,导致人员未被捕获、多摄像头检测存在检测重叠区导致同一人被误判成多人、监管场所对于“独处检测”的高可靠性预警、低成本部署需求无法满足的问题,本发明提供面向监管场所的基于区域互斥的多摄像头独处状态识别方法及系统,通过多摄像头去盲、划定互斥区域去重、检测结果综合判定,解决了“独处状态”判定现有的痛点,可实现室内监管场所“独处检测”的高可靠性预警和低成本部署,能在不应用reid的前提下也能达到监管场所内同一监管人员的去重处理,从而提高“独处检测”的识别率和准确率。

2、术语解释:

3、yolo(you only look once)系列模型:yolo是一种单阶段实时目标检测深度学习模型,其核心思想是将目标检测任务转化为端到端的回归问题,在单次网络前向传播中同时预测目标的边界框坐标和类别概率。yolo系列模型包括yolov5、yolov8、yolov11等多个迭代版本,具有检测速度快、部署简便、精度较高等优点,适用于实时视频监控场景下的行人检测任务。

4、本发明的技术方案如下:

5、本发明的第一个方面提供面向监管场所的基于区域互斥的多摄像头独处状态识别方法,包括:

6、步骤1:在室内场景的不同方位部署多个摄像头,实时采集视频帧;

7、步骤2:基于室内场景的固定几何参照物交点或拐点坐标点,获取不同摄像头视角中独立互斥的多边形有效区域,并将坐标点映射为原始图像的二维坐标;

8、步骤3:构建预训练的目标检测模型,将视频帧输入目标检测模型,获取目标检测框、目标置信度和目标类别,并基于置信度筛选阈值进行筛选;

9、步骤4:基于目标检测框提取目标的空间位置特征,并判断目标人员是否位于多边形有效区域内,对位于多边形有效区域内的目标人员进行统计,获取各摄像头对应区域的目标人员数,并对目标人员数进行融合得到全局总目标人员数;

10、步骤5:基于融合得到的全局总目标人员数,判定独处状态,输出独处状态判定结果,对独处状态判定结果进行过滤,并通过异常处理机制进行异常处理。

11、根据本发明优选的,步骤1的具体实现过程包括:

12、在室内场景的不同方位部署多个摄像头、、...、,多个摄像头探照的范围为、、...、;其中,z表示部署的摄像头数量,表示第z个摄像头,表示第z个摄像头的探照范围,摄像头与探照的范围满足:、、...、且、、...、;多个摄像头实时采集视频帧、、...、,满足:

13、、、...、;

14、其中,表示第z个摄像头采集的视频帧,h表示视频帧图像的高度,w表示视频帧图像的宽度;

15、对各摄像头采集的视频帧进行时间同步处理,形成统一时刻的视频帧。

16、根据本发明优选的,步骤2的具体实现过程包括:

17、在矢量绘图软件的绘制界面加载视频帧,在视频帧的画面中选择固定几何参照物的交点或拐点坐标点,通过连线形成有效区域边界,并按照绘制界面的显示窗口尺寸与视频帧图像尺寸的缩放比例,将有效区域边界内的区域映射为多边形有效区域,并进行储存;

18、其中,多边形有效区域为、、...、,对应的物理空间区域为、、...、,并且任意两个不同的物理空间区域与,满足;其中,表示第个多边形有效区域,表示第个物理空间区域;

19、原始图像即视频帧的图像分辨率为,显示窗口尺寸为,则缩放因子如下所示:

20、;

21、其中,表示缩放因子;

22、将绘制界面中选取的坐标点映射为原始图像坐标,如下所示:

23、;

24、其中,表示映射至原始图像的二维坐标,表示映射回原始图像的水平坐标,表示映射回原始图像的垂直坐标,表示在绘制界面中选取的坐标点的水平坐标,表示在绘制界面中选取的坐标点的垂直坐标;

25、对映射的原始图像的二维坐标进行保存。

26、进一步优选的,形成的多边形有效区域如下所示:

27、,i=1,2,...,z;

28、其中,表示第个摄像头对应的多边形有效区域,表示判定函数,若返回1则表示坐标位于多边形有效区域内部或边界上,表示多边形有效区域的角点即映射回原始图像的二维坐标,如下所示:

29、;

30、其中,表示第n个多边形有效区域的角点,表示第j个多边形有效区域的角点,表示第j个多边形有效区域的角点的水平坐标,表示第j个多边形有效区域的角点的垂直坐标。

31、根据本发明优选的,步骤3的具体实现过程包括:

32、预训练的目标检测模型为预先训练好的yolo系列模型,将视频帧输入目标检测模型,对视频帧进行推理,推理后得到视频帧中出现的所有人员的目标边界框信息集合,如下所示:

33、;

34、其中,表示表示yolo系列模型,表示采集的第i个视频帧,表示目标边界框信息集合,表示视频帧中出现的目标人员数量,表示每个目标检测框即目标边界框的坐标,分别表示目标检测框的中第k个目标人员的第个水平坐标和两个垂直坐标;为目标置信度;为目标类别;

35、对目标边界框信息集合进行筛选,保留目标置信度大于置信度筛选阈值目标边界框信息集合,如下所示:

36、,jk;

37、其中,表示筛选后的目标边界框信息集合,表示第j个目标人员的目标检测框的坐标,表示第j个目标人员的目标置信度,表示目标类别即第j个目标人员的类别,表示置信度筛选阈值,表示目标人员总数,表示目标人员类别的代号;

38、进一步优选的,置信度筛选阈值取值范围为[0.3, 0.7];

39、最优选的,置信度筛选阈值取值为0.5。

40、根据本发明优选的,步骤4的具体实现过程包括:

41、提取目标的空间位置特征,包括:目标检测框下沿中心点、脚步中心点、人体踝部关键点、膝部关键点或目标检测框底边中心点的加权位置以及目标检测框中心点与下沿中心点组合;

42、根据筛选后的目标边界框信息集合中目标人员的脚步中心点坐标,判断目标人员是否位于多边形有效区域内,目标人员的脚步中心点坐标如下所示:

43、;

44、其中,表示目标人员的脚部中心点坐标,表示目标检测框左上角的水平坐标,表示目标检测框右下角的水平坐标,表示目标检测框右下角的垂直坐标;

45、落入多边形有效区域内的目标人员为:

46、;

47、其中,表示落入多边形有效区域内的目标人员;

48、统计当前时刻落入多个摄像头的区域的目标人员数,如下所示:

49、;

50、其中,表示第i个摄像头多边形有效区域的目标人员数;则跨境头的总目标人员数为:

51、;

52、其中,表示全局总目标人员数,表示第z个摄像头的多边形有效区域内的目标人员数。

53、根据本发明优选的,步骤5的具体实现过程包括:

54、根据全局总目标人员数进行独处状态判定,如下所示;

55、;

56、其中,表示判定状态即独处状态判定结果,判定目标对象处于独处状态;,判定目标对象处于非独处状态;

57、通过连续帧稳定性过滤机制对判定状态进行过滤,包括:当连续m个判定周期均满足,或持续时间达到预设时间阈值t时,输出独处状态判定结果;当连续n个判定周期满足时,解除独处状态;

58、当摄像头离线、视频流中断或连续多个判定周期未获取到视频帧时,生成设备异常提示,并将摄像头对应的检测结果标记为无效;

59、当某一摄像头未形成多边形有效区域或对应多边形有效区域的顶点坐标为空,或多边形有效区域的顶点坐标数量小于构成多边形有效区域所需的最小数量时,不进行摄像头的目标人员数计算,输出区域配置异常提示;

60、当目标检测模型在某一判定周期内无检测输出时,将摄像头当前区域目标人员数记为0,并结合连续帧稳定性过滤机制进行判断;

61、当检测的目标人员的位置点位于多边形有效区域边界时,设置边界缓冲区并采用连续多帧投票机制进行区域归属判定,包括:当目标人员位置点距离多边形有效区域边界小于预设像素阈值时,若前一判定周期中目标人员已判定位于多边形有效区域内,且当前周期目标位置点仍在边界的预设像素阈值范围内,则延续前一判定周期的判断结果;当连续k帧中多数帧的判断结果均指向多边形有效区域时,将目标人员计入多边形有效区域,若连续k帧的判定结果出现分歧,则以最近一帧的判定结果为准;

62、进一步优选的,预设时间阈值t取值范围为[30秒, 120秒]; n的取值范围为[3,10]个判定周期;预设像素阈值为5~20像素;多数帧为大于等于k/2帧;

63、最优选的,预设时间阈值t为60秒,n为5个判定周期;预设像素阈值为10像素。

64、一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现面向监管场所的基于区域互斥的多摄像头独处状态识别方法的步骤。

65、一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现面向监管场所的基于区域互斥的多摄像头独处状态识别方法的步骤。

66、本发明的第二个方面提供面向监管场所的基于区域互斥的多摄像头独处状态识别系统,包括:

67、视频帧采集模块,被配置为:在室内场景的不同方位部署多个摄像头,实时采集视频帧;

68、多边形有效区域获取模块,被配置为:基于室内场景的固定几何参照物交点或拐点坐标点,获取不同摄像头视角中独立互斥的多边形有效区域,并将坐标点映射为原始图像的二维坐标;

69、目标检测模块,被配置为:构建预训练的目标检测模型,将视频帧输入目标检测模型,获取目标检测框、目标置信度和目标类别,并基于置信度筛选阈值进行筛选;

70、目标人员数获取模块,被配置为:基于目标检测框提取目标的空间位置特征,并判断目标人员是否位于多边形有效区域内,对位于多边形有效区域内的目标人员进行统计,获取各摄像头对应区域的目标人员数,并对目标人员数进行融合得到全局总目标人员数;

71、独处状态判定模块,被配置为:基于融合得到的全局总目标人员数,判定独处状态,输出独处状态判定结果,对独处状态判定结果进行过滤,并通过异常处理机制进行异常处理。

72、本发明的有益效果在于:

73、1、本发明提出一种基于场景参照物构建的跨摄像头空间互斥约束模型,通过在不同摄像头视角中建立对应于同一物理空间的互斥映射区域,实现目标的唯一空间归属;

74、2、基于所述空间互斥约束,实现无需目标身份重识别的跨摄像头去重机制,避免了传统方法中依赖特征匹配所带来的计算复杂度与环境敏感性问题;

75、3、提出基于目标空间位置特征的区域归属判定方法,通过关键点定位提升区域判断的稳定性;

76、4、构建多摄像头区域计数融合的独处状态判定模型,并结合时间连续性约束,提高判定结果的准确性与鲁棒性;从而在不增加系统复杂度的前提下,实现多摄像头场景下的高精度独处状态识别。