一种多服务协同作业的人员入侵监控方法及相关设备与流程

本发明涉及图像处理，尤其涉及一种多服务协同作业的人员入侵监控方法及相关设备。

背景技术：

1、检测识别监控画面中的入侵人员成为安防管理的重要需求，然而，传统的人员入侵判定主要依赖人工持续注视多路监控画面，人工识别的方式效率十分低下且容易出现因疲劳导致的漏检或误判。

2、随着机器学习技术的发展，现有技术进一步引入了基于深度卷积神经网络的目标检测技术以用于人员入侵检测识别，例如采用yolo、ssd等单阶段检测器或faster r-cnn等两阶段检测器以实现对监控视频流逐帧进行人员目标识别与分类，然而在实际应用仍然存在诸多不足：由于模型受限于自身判别能力的边界，在复杂场景下其仍可能产生大量误报；此外，在多路视频监控环境中每一路监控通道的算力资源分配对计算硬件要求极高，导致系统构建和维护成本较高。

技术实现思路

1、本发明实施例的主要目的在于提出一种多服务协同作业的人员入侵监控方法、装置、电子设备、存储介质及程序产品，旨在解决现有技术的至少一种问题。

2、为实现上述目的，本发明实施例的一方面提出了一种多服务协同作业的人员入侵监控方法，方法包括：

3、响应于前端下发的摄像头的通道标识和流地址，基于通道标识启动对应通道的推理服务进程，通过推理服务进程从流地址获取实时视频帧；

4、基于实时视频帧，利用预先训练的目标检测模型进行人员入侵检测，得到检测结果；其中，检测结果包括目标对象的边界框和类别，类别为入侵人员或者非入侵人员；

5、当检测结果中包括类别为入侵人员的目标对象，基于该目标对象的边界框对应的局部图像，调用大模型进而验证分析得到判断文本；其中，判断文本为入侵或者安全；

6、根据判断文本进行自适应警报处理。

7、在一些实施例中，响应于前端下发的摄像头的通道标识和流地址，基于通道标识启动对应通道的推理服务进程，包括以下步骤：

8、获取前端通过预设通讯协议下发的摄像头的通道标识和流地址，传输至服务管理模块；

9、通过服务管理模块根据预设映射表查表获取通道标识对应的代码进程标识；

10、根据代码进程标识，启动对应的推理服务进程；

11、通过服务管理模块持续采集推理服务进程的运行状态信息；

12、若运行状态信息表征推理服务进程未执行图像检测任务，根据代码进程标识关闭推理服务进程；

13、返回执行通过服务管理模块根据预设映射表查表获取通道标识对应的代码进程标识的步骤，以重新启动推理服务进程，直至运行状态信息表征推理服务进程在执行图像检测任务。

14、在一些实施例中，方法还包括以下步骤：

15、获取人员图像数据集；其中，人员图像数据集中每个人员图像标注有边界框标签和类别标签，类别标签包括标注类别包括普通人员和穿制服的工作人员，普通人员表征入侵人员，穿制服的工作人员表征非入侵人员；

16、基于yolov10n配置训练模型；

17、利用人员图像数据集对训练模型进行调参优化训练，得到目标检测模型。

18、在一些实施例中，基于yolov10n配置训练模型，包括以下步骤：

19、在yolov10n中主干网络与颈部的第一个跳跃连接处插入多层卷积结构，将yolov10n中主干网络的psa替换为c2psa，将yolov10n中颈部的浅层和深层的c2f替换为c3ghost，配置得到训练模型；

20、其中，多层卷积结构包括依次连接的并行卷积层、拼接层和用于通道数恢复的卷积层。

21、在一些实施例中，利用人员图像数据集对训练模型进行调参优化训练，得到目标检测模型，包括以下步骤：

22、将人员图像作为输入数据输入训练模型，以使得训练模型处理输出预测目标；其中，预测目标包括预测框和预测类别；

23、根据预测框与边界框标签的第一差异以及预测类别与类别标签的第二差异构建损失函数；

24、基于损失函数通过反向传播对训练模型进行调参优化，得到目标检测模型。

25、在一些实施例中，基于该目标对象的边界框对应的局部图像，调用大模型进而验证分析得到判断文本，包括以下步骤：

26、以类别为入侵人员的目标对象对应的边界框为基准，按照预设缩放规则对实时视频帧进行缩放处理，得到局部图像；

27、将局部图像联合预设提示词输入大模型，以使得大模型参照预设提示词对局部图像进行人员入侵核验，得到判断文本。

28、在一些实施例中，根据判断文本进行自适应警报处理，包括以下步骤：

29、若判断文本为入侵，基于实时视频帧对应的时间戳并关联通道标识生成报警信息，将报警信息推送至监控终端并进行报警操作；

30、若判断文本为安全，将实时视频帧标记为非入侵事件。

31、为实现上述目的，本发明实施例的另一方面提出了一种多服务协同作业的人员入侵监控装置，装置包括：

32、第一模块，用于响应于前端下发的摄像头的通道标识和流地址，基于通道标识启动对应通道的推理服务进程，通过推理服务进程从流地址获取实时视频帧；

33、第二模块，用于基于实时视频帧，利用预先训练的目标检测模型进行人员入侵检测，得到检测结果；其中，检测结果包括目标对象的边界框和类别，类别为入侵人员或者非入侵人员；

34、第三模块，用于当检测结果中包括类别为入侵人员的目标对象，基于该目标对象的边界框对应的局部图像，调用大模型进而验证分析得到判断文本；其中，判断文本为入侵或者安全；

35、第四模块，用于根据判断文本进行自适应警报处理。

36、为实现上述目的，本发明实施例的另一方面提出了一种电子设备，电子设备包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现前面的方法。

37、为实现上述目的，本发明实施例的另一方面提出了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现前面的方法。

38、为实现上述目的，本发明实施例的另一方面提出了一种计算机程序产品，包括计算机程序，计算机程序被处理器执行时实现前面的方法。

39、本发明实施例至少包括以下有益效果：本发明提供一种多服务协同作业的人员入侵监控方法、装置、电子设备、存储介质及程序产品，该方案通过响应于前端下发的摄像头的通道标识和流地址，基于通道标识启动对应通道的推理服务进程，通过推理服务进程从流地址获取实时视频帧；基于实时视频帧，利用预先训练的目标检测模型进行人员入侵检测，得到检测结果；其中，检测结果包括目标对象的边界框和类别，类别为入侵人员或者非入侵人员；当检测结果中包括类别为入侵人员的目标对象，基于该目标对象的边界框对应的局部图像，调用大模型进而验证分析得到判断文本；其中，判断文本为入侵或者安全；根据判断文本进行自适应警报处理。本发明实施例通过服务启动步骤为每路摄像头动态启动推理服务进程并获取视频流，能够实现多通道推理服务的自适应启动和独立运行，以便于提高多路监控场景下的资源利用效率及系统灵活性；其中，本发明的人员入侵检测采用两级步骤：第一级步骤采用目标检测模型进行初步人员分类，第二级步骤仅在初步检出疑似入侵人员时才调用大模型对场景进行复核，并利用大模型的细粒度理解能力有效区分普通人员与穿制服工作人员以显著降低误报；最终的报警决策步骤以大模型输出为判断依据以确保报警的高准确率。