一种面向工业监控视频的安全事件智能分析管控平台的制作方法

1.本发明属于智能视频分析领域，更具体地，涉及一种面向工业监控视频的安全事件智能分析管控平台。


背景技术：

2.在工业企业的安全生产管理中，目前市面上大多数的视频分析系统基本都实现了针对特定图像或视频中的异常事件检测与分析功能，并能够根据检测结果推送到平台或终端设备，极大地提高了生产管理效率。但是，通过调研与分析目前学术界及工业界推出的智能视频分析平台，发现仍然存在一些问题：
3.1.数据安全性及预警实时性问题。部分服务企业提供的视频分析解决方案中，通过网络调用的方式，将视频数据上传至公用网络云端分析处理，再将处理结果返回到企业预警平台产生报警。智能视频分析算法属于企业安全生产管理活动中涉及的核心算法，拥有完全的自主知识产权及软件著作权益，不允许部署至公用网络中的服务平台运行处理。传统工业企业中的诸多场景信息及监控网络下的设备点位信息涉及企业内部机密，同样需要兼顾数据安全性。这种方式在信息安全性上难以保证，基于api调用的方式网络传输延迟较大，不适用预警实时性要求较高的场景。
4.2.监控视频分析算法的部署与管理问题。目前学术界及工业界提出的主流解决方案虽然解决了大规模监控视频处理在复杂场景下的诸多问题，但是算法均采用内嵌于平台的方式，均未考虑到除平台提供方和企业使用方以外的第三方算法部署与上线问题。在算法阈值参数的设置、分析算法与摄像头的灵活匹配与绑定以及同类分析任务下的算法版本管理等方面未考虑到特定工业企业的实际场景需求。
5.3.视频分析任务管理粒度低。目前大多数的视频分析算法多采用24小时不间断运行的方式，通过不断地获取视频流数据并在发生异常检测事件时输出结果。这种视频分析的管理粒度较低，虽然一定程度上满足实际场景需求，但是长期的在线运行会导致服务器计算资源的无意义占用，影响平台整体使用体验。考虑诸如针对监控网络下某摄像头特定时间段内的分析等需求，应提高任务管理的时间细粒度，达到资源合理调度与错峰使用的目的。
6.4.报警信息利用不充分的问题。报警信息是工业企业安全生产管理过程中的重要信息，报警信息的充分利用是工业企业针对视频数据进行智能化分析的目的。目前如海康威视等服务供应商开发的平台主要提供通用的视频分析服务，并未针对特定企业的的报警信息业务进行个性化定制业务，未结合特定企业已投入或计划投入使用的其它第三方应用平台如智能广播推送平台等提供报警信息的联动。
7.5.未兼顾第三方使用需求。目前主流的视频分析平台主要面向企业的特定分析需求，以完成自身功能业务为主，未考虑第三方算法开发人员的使用需求。经过调研与分析，算法开发人员在算法预训练过程中存在大量机械且重复的数据集采集与筛选工作，这一过程消耗过多人力资源，导致分析算法开发周期的延长。智能分析平台的使用应兼顾算法开
发人员的需求，划分不同的用户使用权限，规范算法开发人员以及企业安防管理人员等不同角色的平台使用过程。


技术实现要素：

8.针对现有技术算法管理不灵活、任务管理粒度较粗、报警信息利用不充分及未兼顾第三方需求等缺陷和改进需求，本发明提供了一种面向工业监控视频的安全事件智能分析管控平台，其目的在于在保障工业监控视频安全性的同时，提高了算法管理的灵活性。
9.为实现上述目的，按照本发明的一个方面，提供了一种面向工业监控视频的安全事件智能分析管控平台，包括：
10.用户权限管理模块，用于管理用户信息和用户权限，共定义三种不同角色，每种角色拥有相应的权限；
11.数据集采集模块，用于根据配置的摄像头和采集时间，自动拉取监控网络下的工业监控视频，拉取摄像头与过滤算法的匹配与绑定，将拉取的工业监控视频过滤并打包，提供相应的下载接口；
12.算法管理模块，用于管理过滤算法和工业监控视频分析算法的版本，包括算法的上传、部署与管理，支持算法不同版本的并行运行；
13.报警策略管理模块，用于根据配置的摄像头和警戒时间，自动拉取监控网络下对应的工业监控视频并运行选定的分析算法进行检测，在检测到目标事件时进行推送，支持报警策略自定义；
14.报警信息管理模块，用于查询、管理和可视化报警信息，支持开放api接口查询报警记录。
15.有益效果：数据集采集模块考虑第三方算法开发人员需求，完善了面向工业监控视频的数据采集过程，并在其中加入一定的过滤策略帮助过滤和筛选数据集，通过数据集采集与过滤过程，降低算法开发人员数据采集工作难度，加速模型预训练过程与算法开发周期。
16.优选地，管控平台的三类角色包括：
17.超级管理员，其拥有以下权限：数据集采集、用户权限定义、算法上传与管理、报警策略配置、报警记录查询和与第三方平台的api接口对接；
18.普通管理员，其拥有以下权限：算法上传与管理、报警策略配置、报警记录查询；
19.普通用户，其拥有以下权限：报警记录查询。
20.优选地，算法管理模块中，算法上传过程中，应用程序的运行环境、程序实体、参数三部分解耦，其中，运行环境以docker镜像的形式存放于镜像仓库，使用时以docker容器的形式本地部署，程序实体算法以源代码或可执行程序形式放于服务器根目录，使用时被上传至容器并打包为镜像，参数以json文件形式存放于服务器根目录，使用时以网络包的形式发送给程序实体。
21.有益效果：算法程序文件与参数文件解耦合是增加算法运行灵活性的方式之一。智能分析管控平台读取用户上传的参数文件，解析相应参数并在算法启动文件调用时导入。
22.优选地，工业监控视频分析算法以微服务形成分布在云端，并支持gpu调度。
23.优选地，数据采集的配置包括：某个或某组摄像头、采集日期、采集时间点、采集时间段和/或采集间隔。
24.有益效果：通过定时任务机制完成了报警策略在时间粒度上的细致管理，简化了报警策略管理问题为协议请求发送时机管理问题。报警策略在时间维度上的细粒度划分更高符合用户对于通常的报警策略管理使用习惯与认知，错峰使用服务器资源进行视频分析任务也是对于资源利用的极大优化，在同等服务器硬件配置下，满足更加宽泛与灵活的任务需求。
25.优选地，所述安全事件智能分析管控平台底层使用分布式消息转储系统，所述分布式消息转储系统用于底层报警信息的监听、转发和存储过程。
26.有益效果：本发明消息转储业务采用分布式系统架构解决方案，降低算法服务集群与管控平台之间的耦合性，提高管控平台的业务可扩展性与灵活性。
27.优选地，所述安全事件智能分析管控平台向下使用综合安防管理平台的开放api接口，用于从综合安防管理平台获取其平台维护的基本信息，向上为其它位于同一服务层级的第三方平台和视频标注系统提供相关api接口。
28.优选地，kurbernetes云平台的分布式架构用于处理多路视频流数据，对于每一个deployment，当集群中pod实例的负载因子均大于第一阈值时，动态扩容机制生效，调用kubernetes集群提供的api增加deployment实例数，并重新进行rehash过程；当集群中某一个pod上的负载小于第二阈值时，关闭当前pod实例，并将其中运行的视频分析任务重新交给其它pod实例运行，pod的负载因子为单个pod中目前在运行的摄像头数目/单个pod允许同时运行的最大摄像头数目，第一阈值大于第二阈值。
29.有益效果：本发明优选上述方式，实现计算服务量弹性伸缩。
30.总体而言，通过本发明所构思的以上技术方案，能够取得以下有益效果：
31.本发明提出一种面向工业监控视频的安全事件智能分析管控平台，其集用户权限管理模块、数据集采集模块、算法管理模块、报警策略管理模块和报警信息管理模块为一体，针对包括几千路监控摄像头且要求监控视频安全性的工业场景，支持视频数据的拉取摄像头和采集时间灵活配置，支持拉取摄像头和算法的匹配与绑定，支持过滤算法和预训练好的工业监控视频分析算法的不同版本上传、部署与管理，支持报警策略自定义，在保障工业监控视频安全性的同时，提高了算法管理的灵活性。
附图说明
32.图1是本发明提供的一种面向工业监控视频的安全事件智能分析管控平台总体架构图；
33.图2是本发明提供的文件监听服务程序流程图；
34.图3是本发明提供的算法管理模块算法管理概览图；
35.图4是本发明提供的报警策略管理模块定时任务执行流程图；
36.图5是本发明提供的数据集采集模块数据采集流程图；
37.图6是本发明提供的用户管理模块不同类别用户权限示意图。
具体实施方式
38.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
39.如图1所示，本发明提供了一种面向工业监控视频的安全事件智能分析管控平台，包括：分布式消息转储系统、算法管理模块、报警策略管理模块、报警信息管理模块、数据集采集模块、第三方平台对接模块、用户管理模块及人机界面。
40.分布式消息转储系统，用于底层预警信息的监听、转发、存储过程。算法管理模块，用于智能分析任务的分类管理以及对所述的分析任务中的智能分析算法的版本上传与管理。报警策略管理模块，用于报警策略的配置与管理以及实现拉取的不同监控设备的原始视频流与智能分析算法的匹配与绑定。报警信息管理模块，用于查询和管理报警信息。数据集采集模块，用于在选取的监控设备原始视频流拉取过程中进行视频数据的过滤与筛选，并提供数据的下载功能。第三方平台对接模块，用于为报警策略管理模块提供监控设备层级信息、摄像头巡检信息、原始视频流地址信息以及第三方平台对接平台的报警信息检索功能。用户管理模块，用于平台登陆角色基于特定模块功能的权限分级管理。人机界面，用于参数配置的输入与报警信息的输出。
41.具体地，分布式消息转储系统包括：文件监听服务子模块、中间消息存储子模块、消息持久化子模块、平台本地文件存储系统。其中，文件监听服务，用于监听分析算法在指定文件目录下的算法分析结果输出，如图2所示，通过解析与判断，针对预警信息，提交到中间消息存储模块，针对视频等结构化数据，通过文件同步的方式存储至平台本地文件系统。进一步地，消息中间存储子模块用于消息的临时存储与转发，使用消息中间件技术保证消息传递的有序性、可靠性与安全性。对于中间消息存储子模块中的预警消息在接收后进行持久化操作，将其保存到数据库。
42.具体地，算法管理模块用于智能分析任务的分类管理以及对所述的分析任务使用的智能分析算法的版本上传与管理。如图3所示，算法管理的内容主要包括分析任务管理及相应任务下版本管理。
43.算法管理模块将算法上传分为为镜像上传、算法文件上传及参数文件上传三个模块，其主要的步骤包括：
44.a1：阅读平台技术对接文档，明确待上传智能分析算法的输入输出格式及参数配置文件格式；
45.a2：分别上传镜像、算法文件、参数配置文件；
46.a3：选择当前上传算法运行所需的基础镜像，选择的镜像可以是平台已有镜像或是用户自主上传的镜像；
47.a4：在平台拥有算法程序文件压缩包或已上传算法程序文件压缩包后，选择当前任务需要使用的算法文件；
48.a5：在平台拥有参数配置文件或已上传算法配置文件后，选择当前任务需要使用的参数配置文件，可手动修改并保存；
49.a6：依据平台技术对接文档规范检查选定的镜像、算法文件、参数配置文件及智能
分析算法运行正确性。
50.算法的上传抽象为三部分：运行环境、程序实体以及参数文件。运行环境是程序运行的环境支持，程序实体是算法的逻辑实现，参数文件影响着程序运行的分支与结果的输出。具体地，上传的分析算法允许通过统一打包成二进制文件的方式运行。针对部分分析算法无法打包成二进制文件上传运行的问题，提出搭配使用事先配置的基础镜像容器的方式来解决环境依赖的问题。针对程序实体搭载的问题，提出在算法上传时将程序实体文件自动导入到基础镜像容器封装成算法服务镜像的方式来解决。针对参数文件配置复杂的问题，在程序实体运行的过程中，以网络包的形式将参数由平台发送给算法分析服务实例。
51.分析算法的规范为统一输入输出的算法可执行文件及配套可执行脚本。具体地，输入文件是一个允许在docker容器内运行的shell启动脚本，且脚本中前三个参数由平台统一指定，分别为：摄像头id、rtsp视频流地址以及算法输出结果目录，后续参数按照参数配置文件中顺序指定。输出文件为json格式文件，必须包含的参数项为：事件开始时间、事件结束时间、摄像头id、事件预警视频片段文件名称。
52.采用docker registry及kubernetes集群完成对于算法分析服务的自动化部署、运维管理、服务发现、负载均衡及弹性伸缩过程。算法的部署采用kubernetes集群部署方式为容器化应用提供资源调度、部署运行、服务发现、弹性伸缩等功能，系统中的算法分析服务都以容器的形式托管于kubernetes中。具体地，使用docker私有化镜像仓库registry完成算法分析镜像的存储，并支持kubernetes集群任意节点拉取docker registry镜像进行本地化部署。
53.报警策略管理模块，用于报警策略的配置与管理以及实现拉取的不同监控设备的原始视频流与智能分析算法的匹配与绑定。所述报警策略管理模块包括策略配置子模块及策略管理子模块。其中，策略管理子模块用于报警策略的管理与维护。报警策略上传子模块用于配置报警策略定时任务及推送设置，其主要步骤包括：
54.b1：选择摄像机：由平台基于第三方调用api接口获取与维护监控设备层级信息、巡检信息、基于rtsp协议的视频预览取流地址等，使用穿梭框组件管理层级列表并提供摄像头选取功能；
55.b2：选择算法及参数配置：提供在线分析任务中各类在线智能分析算法选取功能，支持手动修改算法上传配置参数文件；
56.b3：选择日期及时段：日期有三种选择，包括：不限日期、工作日、自定义日期。时段有两种选择，包括：不限时段、自定义时段；
57.b4：推送设置：推送设置与报警信息的定义相连，用于设定报警信息推送平台、推送内容、告警等级划分的时间间隔、不同等级告警的推送时间间隔。
58.具体地，算法分析的数据源是基于第三方对接模块提供的api调用获得的底层管理平台管理维护的海康、大华等高清网络监控摄像机实时视频流。报警策略与一组摄像头id绑定，并由平台调用api接口获得流地址传入算法分析服务中。定时任务采用linux inotify文件监听机制实现，如图4所示，具体地实现流程包括：
59.s1：crontab监听服务于平台启动时以守护进程形式开启；
60.s2：每隔2秒读取指定监听文件；
61.s3：判断当前时刻是否有待执行任务；如果无待执行任务，转到s2执行；
62.s4：如果s3中判断有执行任务，则执行相应脚本发送指令；
63.web服务的注入用于报警策略的响应过程，基于rest风格的api设计将报警策略管理转换为api请求发送时机管理的问题。
64.报警信息管理模块用于查询和管理报警信息。具体地，报警信息管理模块包括：表格查询与报警信息管理、全局模糊搜索、历史报警信息的图表查询(按天/小时/分钟)、实时报警信息的图表查询、表格与图表信息联动查询以及统计监控大屏分析等。
65.报警策略推送设置构建了警告分级策略，定义不同的警告等级及相应警告等级下事件发生的时长用于去除冗余报警信息，定义不同的警告等级下的推送间隔用于设定不同报警策略中告警信息推送频率。
66.在数据集采集模块用于在选取的监控设备原始视频流拉取过程中进行视频数据的过滤与筛选。如图5所示，采集配置的主要步骤包括：
67.s1：编辑采集配置信息并提交，包括：采集开始时间、采集结束时间、采集摄像头设备、是否使用过滤算法。采集开始时间小于采集结束时间；
68.s2：判断s1中当前采集开始时间与采集结束时间的时间区间；
69.s3：步骤s2中采集开始时间如晚于当前时间，设置定时任务时延等待拉流；定时任务的实现与报警策略模块类似，可共用crontab监听框架功能；
70.s4：步骤s2中采集开始时间如早于当前时间，判断采集结束时间是否小于当前时间；
71.s5：步骤s4中采集结束时间如小于当前时间，立即开始拉流；
72.s6：步骤s4中采集时间如大于当前时间，立即开始同时拉取实时流及采集开始时间到当前时间的视频流。
73.具体地，采集过滤子模块用于数据集的筛选，其主要步骤包括：
74.s1：截取摄像头视频流数据中一帧，利用人体检测算法判断当前帧是否有人体；
75.s2：如果当前帧内人体检测置信度较高，间隔100帧进行下一次检测并保存区间内连续视频帧，跳转到s1，直到采集结束时间到来；
76.s3：如果当前帧内人体检测置信度较低，间隔25帧进行下一次检测，不保存该区间内连续视频帧，跳转到s1，直到采集结束时间到来。
77.在用户管理模块用于平台登陆角色基于特定模块功能的权限分级管理。如图6所示，划分三类用户，包括：超级管理员、普通管理员、普通用户。超级管理员具有用户权限分配、数据集采集、算法管理、报警策略管理、报警信息管理权限。普通管理员具有算法管理、报警策略管理、报警信息管理权限。普通用户仅具有报警信息管理权限。
78.本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。