基于AI视频结构化分析的危化品领用管理系统与方法与流程

基于ai视频结构化分析的危化品领用管理系统与方法
技术领域
1.本发明属于计算机视觉技术领域，具体涉及一种基于ai视频结构化分析的危化品领用管理系统与方法。


背景技术：

2.目前对于危化品企业的危化品流向监管，主流管理方式包括线下纸质台账登记和软件管理系统的方式。线下纸质台账登记，即对每次危化品出入仓库进行纸笔记录，记录每次出入仓库的时间、领用人员、现场保管员和经办人，以及危化品的种类和数量，并由企业负责人或者安全员进行签字，作为危化品领用出库操作合规的信用背书。软件管理系统是目前主流的技术方案，采用纯软件的方式对每次危化品出入库相关信息做系统登记，形成危化品出入库线上台账。
3.现有软件管理系统技术本质上是将纸质台账的功能转移到了线上，软件管理平台将危化品台账的登记线上化，管理人员可以在线上直接查看企业的危化品出入库台账，无需再去检查企业的纸质台账。但软件管理对危化品领用的监管仍然停留在一种基于自觉性的事后记录方法，实际操作中，是否根据规范要求进行出入库操作不得而知，存在明显的管理漏洞。


技术实现要素：

4.鉴于以上存在的技术问题，本发明用于提供一种基于ai视频结构化分析的危化品领用管理系统与方法，用于提高危化品领用的安全性。
5.为解决上述技术问题，本发明采用如下的技术方案：本发明实施例一方面提供一种基于ai视频结构化分析的危化品领用管理系统，包括管理终端、视频处理模块、危化品运输沿线设置的多个摄像头、用户终端、打卡设备，所述管理终端用于采集具有接触危化品权限的人员信息，对人员的分工进行授权和权限区分；所述打卡设备设置在危化品存放仓库，领用人员在领用前通过用户终端进行打卡确认；领用打卡开始后，所述视频处理模块对待检测视频帧进行视频结构化分析检测，将危化品运输沿线摄像头画面作为重点待检测视频帧，分析识别进入危化品存放仓库的人员是否为领用申请事件中确认人员，且人员在运输危化品的过程中，危化品容器是否离开监控画面，检测过程直至领用人员将危化品运送到使用车间后进行运送完成打卡后结束，将待检测视频帧的检测结果以系统预警的形式发送至管理终端。
6.一种可能的设计中，所述视频处理模块通过监控摄像头进行增量机器学习，对监控范围内的人员进行步态特征分析，通过管理终端标记的方式确认步态特征对应的人员id。
7.一种可能的设计中，所述视频处理模块在接收到视频结构化分析事件时，基于人
脸和步态特征对人员id进行识别。
8.一种可能的设计中，无领用申请事件触发时，将设置在危化品存放仓库的摄像头画面作为待检测视频帧待检测视频帧，视频处理模块对待检测帧进行实时检测，检测是否有非授权人员闯入，如检测到非授权人员闯入，则发送预警消息至管理终端。
9.一种可能的设计中，在领用开始打卡信号触发且领用完成打卡信号未触发情况下，所述视频处理模块将危化品存放摄像头画面作为待分析视频，该时间段内进行逐帧分析，检测目标主体的人员是否与领用指定的人员一致，如果缺少人员或人员信息不一致，则发送预警消息到管理终端。
10.一种可能的设计中，所述将危化品运输沿线摄像头画面作为重点待检测视频帧包括：将所有摄像头信息，储存在一个有向无循环图dag中，每一个摄像头记录为dag中的一个节点；根据危化品领用的预定路线，将路线覆盖到的摄像头，分别按照路线经过的顺序，将相邻两个摄像头节点之间建立dag路径。
11.一种可能的设计中，新建路线时，对dag进行广度优先搜索bfs，确保dag数据结构中没有循环路径出现。
12.一种可能的设计中，将所述的危化品仓库与dag路径进行绑定，当触发分析事件时，根据绑定关系，找出dag路径对应的摄像头列表，依照时间顺序依次对路径上的摄像头视频流中的视频特征进行分析。
13.一种可能的设计中，视频结构化分析的结构化特征包括危化品容器运输轨迹、危化品容器的状态、烟雾、火苗和人员信息。
14.本发明实施例又一方面提供一种基于ai视频结构化分析的危化品领用管理方法，包括：设置包括管理终端、视频处理模块、危化品运输沿线设置的多个摄像头、用户终端和打卡设备的基于ai视频结构化分析的危化品领用管理系统，所述管理终端用于采集具有接触危化品权限的人员信息，对人员的分工进行授权和权限区分；所述打卡设备设置在危化品存放仓库，领用人员在领用前通过用户终端进行打卡确认；领用打卡开始后，所述视频处理模块对待检测视频帧进行视频结构化分析检测，将危化品运输沿线摄像头画面作为重点待检测视频帧，分析识别进入危化品存放仓库的人员是否为领用申请事件中确认人员，且人员在运输危化品的过程中，危化品容器是否离开监控画面，检测过程直至领用人员将危化品运送到使用车间后进行运送完成打卡后结束，将待检测视频帧的检测结果以系统预警的形式发送至管理终端。
15.一种可能的设计中，设置所述视频处理模块通过监控摄像头进行增量机器学习，对监控范围内的人员进行步态特征分析，通过管理终端标记的方式确认步态特征对应的人员id。
16.一种可能的设计中，设置所述视频处理模块在接收到视频结构化分析事件时，基于人脸和步态特征对人员id进行识别。
17.一种可能的设计中，无领用申请事件触发时，将设置在危化品存放仓库的摄像头画面作为待检测视频帧待检测视频帧，视频处理模块对待检测帧进行实时检测，检测是否有非授权人员闯入，如检测到非授权人员闯入，则发送预警消息至管理终端。
18.一种可能的设计中，在领用开始打卡信号触发且领用完成打卡信号未触发情况
下，所述视频处理模块将危化品存放摄像头画面作为待分析视频，该时间段内进行逐帧分析，检测目标主体的人员是否与领用指定的人员一致，如果缺少人员或人员信息不一致，则发送预警消息到管理终端。
19.一种可能的设计中，所述将危化品运输沿线摄像头画面作为重点待检测视频帧包括：将所有摄像头信息，储存在一个有向无循环图dag中，每一个摄像头记录为dag中的一个节点；根据危化品领用的预定路线，将路线覆盖到的摄像头，分别按照路线经过的顺序，将相邻两个摄像头节点之间建立dag路径。
20.一种可能的设计中，新建路线时，对dag进行广度优先搜索bfs，确保dag数据结构中没有循环路径出现。
21.一种可能的设计中，将所述的危化品仓库与dag路径进行绑定，当触发分析事件时，根据绑定关系，找出dag路径对应的摄像头列表，依照时间顺序依次对路径上的摄像头视频流中的视频特征进行分析。
22.一种可能的设计中，视频结构化分析的结构化特征包括危化品容器运输轨迹、危化品容器的状态、烟雾、火苗和人员信息。
23.采用本发明具有如下的有益效果：（1）通过设置管理终端采集具有接触危化品权限的人员信息，对人员的分工进行授权和权限区分，可以更好的规范领用流程，避免人员上的疏漏。
24.（2）通过设置用户终端的领用事件触发以及进行领用打卡，可以规范领用人员的操作，提高领用人员的安全警惕性。
25.（3）通过在危化品运输沿线设置的多个摄像头，且通过dag路径设置，可仅针对事件相关路径内的摄像头视频流进行分析，可减少视频处理模块分析的工作量，从而降低算力消耗，提高视频帧分析效率。
26.（4）基于步态识别和人脸进行人员id确认，可提高人员识别的准确度。
27.（5）通过这一系统实现对危化品从仓库领用，直到运输至使用车间期间的操作规范性的视频结构化分析预警，可准确高效且可追溯的实现包括现场人员是否符合规范要求，运输操作是否符合规定的管理需求。
附图说明
28.图1为本发明实施例的基于ai视频结构化分析的危化品领用管理系统的结构示意图；图2为本发明实施例的基于ai视频结构化分析的危化品领用管理方法的步骤流程图。
具体实施方式
29.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
30.参见图1，所示为本发明实施例的一种基于ai视频结构化分析的危化品领用管理
系统的结构示意图包括管理终端10、视频处理模块50、危化品运输沿线设置的多个摄像头40、用户终端20、打卡设备30，其中管理终端10用于采集具有接触危化品权限的人员信息，对人员的分工进行授权和权限区分；打卡设备30设置在危化品存放仓库，领用人员在领用前通过用户终端20进行打卡确认；领用打卡开始后，视频处理模块50对待检测视频帧进行视频结构化分析检测，将危化品运输沿线摄像头40画面作为重点待检测视频帧，分析识别进入危化品存放仓库的人员是否为领用申请事件中确认人员，且人员在运输危化品的过程中，危化品容器是否离开监控画面，检测过程直至领用人员将危化品运送到使用车间后进行运送完成打卡后结束，将待检测视频帧的检测结果以系统预警的形式发送至管理终端。例如，在出入库领用开始打卡信号触发且运送完成打卡信号未触发情况下，危化品运输路线沿线摄像头编组画面作为待分析视频，对每个摄像头画面进行抽帧分析，检测目标主体为人员（即两名领用人员，一名经办人）和危化品容器，当检测到目标人员时，即进入逐帧分析模式，检测是否出现监控画面只有运送人员，没有危化品容器的情况出现，如出现该情况则触发“容器脱离”预警。
31.本发明一实施例中，管理终端10可以设置有多个，具有管理和审批权限的人员持有管理终端。通过管理终端对从业人员、危化品仓库进行备案，进行审批确认，对应的人员和危化品仓库进入监管端数据库，人员姓名、岗位、照片等关键信息完成系统录入，形成基础信息库。操作人员在用户终端进行领用操作申请，管理终端进行审批，至少包括两名领用人员信息、两名保管员信息。
32.本发明一实施例中，由于工厂的摄像头分布情况复杂，可能会存在远距离视角的情况，会导致人脸识别准确性降低甚至无法识别。因此视频处理模块50通过监控摄像头进行增量机器学习，对厂区监控范围内的人进行步态特征分析，通过管理终端标记的方式确认此步态特征对应的人员id。视频处理模块50在接收到分析事件后，基于人脸加步态特征对人员id进行识别，提高人员识别的准确度。
33.本发明一实施例中，视频处理模块50可以具体是一个ai视频盒子，具有以实现增量机器学习、步态分析、结构化分析等功能。
34.本发明一实施例中，采用的视频结构化分析遵循以下基本原则和方法：通过预设的背景建模方法进行背景建模，对待检测视频进行抽帧分析检测，如两个连续抽帧分析结果无目标主体，则不再对期间的视频帧进行视频结构化分析，以减少无异常状态情况下的计算资源消耗；抽帧中检测到目标主体，则开启逐帧分析模式，即在该抽帧之后开始逐帧分析，直到连续2s内视频帧检测不到目标主体时停止逐帧分析模式，通过采用以上的分析方法，提升分析精准性。视频结构化分析的结构化特征包括危化品容器运输轨迹、危化品容器的状态（是否歪斜、是否侧翻）、烟雾、火苗和人员信息。
35.本发明一实施例中，无领用申请事件触发时，将设置在危化品存放仓库的摄像头画面作为待检测视频帧待检测视频帧，视频处理模块50对待检测帧进行实时检测，检测是否有非授权人员闯入，如检测到非授权人员闯入，则发送预警消息至管理终端10。例如，对仓库摄像头的监控画面进行抽帧，抽取视频帧即是待分析视频帧，该状态下检测的目标主体为人，即检测到有人进入仓库即触发“非法入侵预警”。
36.本发明一实施例中，在领用开始打卡信号触发且领用完成打卡信号未触发情况下，视频处理模块50将危化品存放摄像头画面作为待分析视频，该时间段内进行逐帧分析，
检测目标主体的人员是否与领用指定的人员一致，如果缺少人员或人员信息不一致，则发送预警消息到管理终端10。例如，该时间段内进行逐帧分析，检测目标主体的人员组，通过连续的检测分析判断仓库现场到场人数为授权领用的所有人员，且与出入库申请事件中指定的人员信息一致，如果缺少人员，则触发“岗位缺失”预警。又例如，该时间段内进行逐帧分析，检测目标主体是人员，若检测到人员为非出入库申请事件中确认的人员，则触发“人员无资格”预警。
37.本发明一实施例中，为了降低算力消耗，将危化品运输沿线摄像头画面作为重点待检测视频帧时对分析的摄像头进行动态编组。将所有摄像头信息，储存在一个有向无循环图（directed acyclic graph，dag）中，每一个摄像头记录为dag中的一个节点；根据危化品领用的预定路线，将路线覆盖到的摄像头，分别按照路线经过的顺序，将相邻两个摄像头节点之间建立dag路径。新建路线时，对dag进行广度优先搜索（breadth first search，bfs），确保dag数据结构中没有循环路径出现。将危化品仓库与dag路径进行绑定，当触发分析事件时，根据绑定关系，找出dag路径对应的摄像头列表，依照时间顺序依次对路径上的摄像头视频流中的视频特征进行分析。通过以上利用dag数据结构对剧毒危化品运输路径上的摄像头进行存储，当触发分析事件时，仅仅针对事件相关路径内的摄像头视频流进行分析，从而降低算力消耗。
38.与系统实施例对应的，参见图2，所示为本发明实施例的一种基于ai视频结构化分析的危化品领用管理方法，包括：设置包括管理终端10、视频处理模块50、危化品运输沿线设置的多个摄像头40、用户终端20和打卡设备30的基于ai视频结构化分析的危化品领用管理系统，参见图1所示，管理终端用于采集具有接触危化品权限的人员信息，对人员的分工进行授权和权限区分；打卡设备设置在危化品存放仓库，领用人员在领用前通过用户终端进行打卡确认；领用打卡开始后，视频处理模块50对待检测视频帧进行视频结构化分析检测，将危化品运输沿线摄像头画面作为重点待检测视频帧，分析识别进入危化品存放仓库的人员是否为领用申请事件中确认人员，且人员在运输危化品的过程中，危化品容器是否离开监控画面，检测过程直至领用人员将危化品运送到使用车间后进行运送完成打卡后结束，将待检测视频帧的检测结果以系统预警的形式发送至管理终端。
39.本发明一实施例中，视频处理模块50可以具体是一个ai视频盒子，具有以实现增量机器学习、步态分析、结构化分析等功能。
40.采用的视频结构化分析遵循以下基本原则和方法：通过预设的背景建模方法进行背景建模，对待检测视频进行抽帧分析检测，如两个连续抽帧分析结果无目标主体，则不再对期间的视频帧进行视频结构化分析，减少无异常状态情况下的计算资源消耗；抽帧中检测到目标主体，则开启逐帧分析模式，即在该抽帧之后开始逐帧分析，直到连续2s内视频帧检测不到目标主体 时停止逐帧分析模式，通过采用以上的分析方法，提升分析精准性。视频结构化分析的结构化特征包括危化品容器运输轨迹、危化品容器的状态（是否歪斜、是否侧翻）、烟雾、火苗和人员信息。
41.本发明一实施例中，可以设置有多个管理终端10，具有管理和审批权限的人员持有管理终端10。通过管理终端对从业人员、危化品仓库进行备案，进行审批确认，对应的人员和危化品仓库进入监管端数据库，人员姓名、岗位、照片等关键信息完成系统录入，形成
基础信息库。操作人员在用户终端进行领用操作申请，触发领用事件，管理终端进行审批，至少包括两名领用人员信息、两名保管员信息。
42.本发明一实施例中，由于工厂的摄像头分布情况复杂，可能会存在远距离视角的情况，会导致人脸识别准确性降低甚至无法识别。因此设置视频处理模块50通过监控摄像头进行增量机器学习，对厂区监控范围内的人进行步态特征分析，通过管理终端标记的方式确认此步态特征对应的人员id。视频处理模块在接收到分析事件后，基于人脸加步态特征对人员id进行识别，提高人员识别的准确度。
43.本发明一实施例中，无领用申请事件触发时，将设置在危化品存放仓库的摄像头画面作为待检测视频帧待检测视频帧，视频处理模块50对待检测帧进行实时检测，检测是否有非授权人员闯入，如检测到非授权人员闯入，则发送预警消息至管理终端。例如，对仓库摄像头的监控画面进行抽帧，抽取视频帧即是待分析视频帧，该状态下检测的目标主体为人，即检测到有人进入仓库即触发“非法入侵预警”。
44.本发明一实施例中，在领用开始打卡信号触发且领用完成打卡信号未触发情况下，设置视频处理模块50将危化品存放摄像头画面作为待分析视频，该时间段内进行逐帧分析，检测目标主体的人员是否与领用指定的人员一致，如果缺少人员或人员信息不一致，则发送预警消息到管理终端。例如，该时间段内进行逐帧分析，检测目标主体的人员组，通过连续的检测分析判断仓库现场到场人数为授权领用的所有人员，且与出入库申请事件中指定的人员信息一致，如果缺少人员，则触发“岗位缺失”预警。又例如，该时间段内进行逐帧分析，检测目标主体是人员，若检测到人员为非出入库申请事件中确认的人员，则触发“人员无资格”预警。
45.本发明一实施例中，为了降低算力消耗，将危化品运输沿线摄像头画面作为重点待检测视频帧时对分析的摄像头进行动态编组。将所有摄像头信息，储存在一个有向无循环图（directed acyclic graph，dag）中，每一个摄像头记录为dag中的一个节点；根据危化品领用的预定路线，将路线覆盖到的摄像头，分别按照路线经过的顺序，将相邻两个摄像头节点之间建立dag路径。新建路线时，对dag进行广度优先搜索（breadth first search，bfs），确保dag数据结构中没有循环路径出现。将危化品仓库与dag路径进行绑定，当触发分析事件时，根据绑定关系，找出dag路径对应的摄像头列表，依照时间顺序依次对路径上的摄像头视频流中的视频特征进行分析。通过以上利用dag数据结构对剧毒危化品运输路径上的摄像头进行存储，当触发分析事件时，仅仅针对事件相关路径内的摄像头视频流进行分析，从而降低算力消耗。
46.通过以上设置的方法实现对危化品从仓库领用，直到运输至使用车间期间的操作规范性的视频结构化分析预警，可准确高效且可追溯的实现包括现场人员是否符合规范要求，运输操作是否符合规定的管理需求。
47.应当理解，本文所述的示例性实施例是说明性的而非限制性的。尽管结合附图描述了本发明的一个或多个实施例，本领域普通技术人员应当理解，在不脱离通过所附权利要求所限定的本发明的精神和范围的情况下，可以做出各种形式和细节的改变。