基于视频图像分析的视频监控设备故障监测方法及系统与流程

1.本发明涉及视频监控设备运维技术领域，具体涉及一种基于视频图像分析的视频监控设备故障监测方法及系统。


背景技术：

2.随着视频监控系统需求的不断增长，以及监控摄像机数量的不断增加，监控的时间不断延长，给监控系统的维护工作带来了新的挑战。如何及时了解前端视频设备的运行情况，发现故障并检测恶意遮挡与破坏的不法行为已成为视频监控系统运行的首要迫切问题。
3.目前视频监控系统的维护工作一般是由人工完成，运维人员利用集控中心，通过模拟矩阵或数字视频流媒体服务器将远端视频调出到监视屏中，人工判断每路视频的质量，并将有问题的视频记录到维护报表中。这项工作十分耗时繁重，因此一般维护工作会以半月或一月为周期定期检查，视频故障只能在检修巡视时才能发现。由于监视屏数量有限，运维人员往往在一个监视屏同时监看多台摄像机或随机抽取摄像头显示，造成部分监控点被漏看或被忽视，这种人工维护工作不仅费时费力，而且效果不好，视频信号在出现不同的常见故障后，往往不能及时地被运维人员发现，一旦发生紧急情况，已无法补救。


技术实现要素：

4.有鉴于此，本说明书一个或多个实施例提供一种基于视频图像分析的视频监控设备故障监测方法及系统。
5.为实现上述目的，本说明书一个或多个实施例提供技术方案如下：
6.根据本说明书一个或多个实施例的第一方面，提出了一种基于视频图像分析的视频监控设备故障监测方法，
7.对所有接入的视频监控设备进行分组；
8.按照预设的监测顺序依次访问每个设备组对应的设备列表，遍历当前被访问的设备组的设备列表中的每一个设备，顺序切换接通每个当前遍历的设备的视频信号传输通道；
9.接收当前接通的视频信号传输通道传输的预设时长的视频段，并将所述视频段作为基本单位对应分配到所述设备所属设备组的至少一个预设图像分析任务的任务队列中，以执行对所述视频段的图像分析任务。
10.进一步的，所述设备所属设备组的至少一个预设图像分析任务，包括：
11.基于每个设备组为所述设备组默认分配图像分析任务全集，所述图像分析任务全集包括视频信号缺失、视频清晰度异常、视频亮度异常、视频噪声、视频雪花、视频偏色、画面冻结；
12.基于每个设备组的设备属性在图像分析任务全集中过滤部分图像分析任务；
13.获取对应每个设备组的至少一个预设图像分析任务。
14.进一步的，所述遍历当前被访问的设备组的设备列表中的每一个设备，顺序切换接通每个当前遍历的设备的视频信号传输通道，包括：
15.按照当前被访问的设备组的设备列表，循环至少一次遍历当前设备列表中的每个设备，顺序切换接通每个当前遍历的设备的视频信号传输通道。
16.进一步的，所述基于每个设备组的设备属性在图像分析任务全集中过滤部分图像分析任务，包括：
17.基于预设的所述设备组对应的不感兴趣的图像分析任务项，过滤部分图像分析任务；
18.和/或
19.基于所述设备组的历史图像分析任务执行结果，确定所述设备组的感兴趣图像分析任务项，所述设备组的感兴趣图像分析任务项表征所述设备组采集图像异常发生概率符合预设条件的图像分析任务项。
20.进一步的，所述基于所述设备组的历史图像分析任务执行结果，确定所述设备组的感兴趣图像分析任务项，包括：
21.获取针对所述设备组进行多个图像分析任务选择操作时，对每个图像分析任务选项的历史操作信息，所述操作包括勾选和不勾选；
22.基于所述历史操作信息，获取所述历史操作的不同类型的频率特征；
23.基于所述频率特征和所述设备组的标签特征，通过预设的神经网络模型预测输出针对所述设备组的感兴趣图像分析任务项。
24.进一步的，所述将所述视频段作为基本单位对应分配到所述设备所属设备组的至少一个预设图像分析任务的任务队列中，以执行对所述视频段的图像分析任务，还包括：
25.预测所述视频段在每个图像分析任务的任务队列中的执行时间；
26.获取所述图像分析任务执行结果，所述执行结果包括对应的视频段、视频段对应的设备、设备所属分组、图像分析结果；
27.获取同一设备的所有预设图像分析任务执行结果以及同一分组内所有设备的任务执行结果；
28.基于执行结束时间预测数据，在执行结束时间前，轮询检测是否已经获取所有图像分析任务执行结果；
29.若是，则基于所述图像分析任务执行结果，综合分析所述视频监控设备的故障情况；
30.在执行结束时间后，获取未获得执行结果的图像分析任务对应的检测模块，获取检测子任务执行异常原因。
31.进一步的，所述预测所述视频段在每个图像分析任务的任务队列中的执行时间，包括：
32.获取当前时间各个图像分析任务的任务队列长度；
33.确定不存在超过长度阈值的任务队列，则根据图像分析任务的任务队列长度确定当前视频段在每个图像分析任务的任务队列中的执行时间；
34.确定存在超过长度阈值的任务队列，则依据所述任务队列长度对各个图像分析任务进行从大到小排序；
35.依据图像分析任务队列顺序获取前第一数量个任务队列的第二数量的未完成任务个数；
36.依据图像分析任务队列顺序获取后第三数量个任务队列的任务处理节点的未完成任务个数；
37.从第三数量个任务队列的任务处理节点中选择第四数量个任务处理节点更换到前第一数量个任务队列中，所述第四数量个任务处理节点为第三数量个任务队列的任务处理节点中未完成任务个数较小的任务处理节点，所述更换包括将第四数量个任务处理节点等任务类型更新为前第一数量个任务队列的任务类型；
38.基于更换任务处理节点后的任务队列确定当前视频段在每个图像分析任务的任务队列中的执行时间。
39.根据本说明书一个或多个实施例的第二方面，提出了一种基于视频图像分析的视频监控设备故障监测系统，包括：
40.设备分组模块，用于对所有接入的视频监控设备进行分组；
41.设备组视频通道切换模块，用于按照预设的监测顺序依次访问每个设备组对应的设备列表，遍历当前被访问的设备组的设备列表中的每一个设备，顺序切换接通每个当前遍历的设备的视频信号传输通道；
42.设备故障分析模块，用于接收当前接通的视频信号传输通道传输的预设时长的视频段，并将所述视频段作为基本单位对应分配到所述设备所属设备组的至少一个预设图像分析任务的任务队列中，以执行对所述视频段的图像分析任务。
43.根据本说明书一个或多个实施例的第三方面，提出了一种电子设备，所述电子设备包括：
44.处理器；
45.用于存储处理器可执行指令的存储器；
46.其中，所述处理器通过运行所述可执行指令以实现如第一方面所述的视频监控设备故障监测方法。
47.根据本说明书一个或多个实施例的第四方面，提出了一种计算机可读存储介质，所述指令被处理器执行时实现如第一方面所述视频监控设备故障监测方法的步骤。
48.本发明的一种基于视频图像分析的视频监控设备故障监测方法及系统，具备如下有益效果：通过对视频监控设备进行分组，并对设备组进行检测任务设置，包括为该设备组检测任务分配多个图像分析任务以及为同一设备组循环多次进行检测任务，基于设备组多个图像分析任务的任务队列执行结果确定视频监控设备的故障，实现摄像头实时基于本身采集图像的分析自动进行故障检测、识别和告警。
附图说明
49.图1是本技术实施例的基于视频图像分析的视频监控设备故障监测方法的流程图；
50.图2是本技术实施例的顺序切换接通每个视频监控设备的视频信号传输通道的流程图；
51.图3是本技术实施例的基于视频图像分析的视频监控设备故障监测系统的结构
图。
具体实施方式
52.为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
53.从现在普遍出现的摄像头故障类型来看，影响视频监控系统视频质量的因素有很多，主要概括来说有以下3点：
54.(1)摄像机的设置不当或器件老化失效造成，包含摄像机的分辨率、摄像机对光照的灵敏度、镜头聚焦调整、色彩校正无不涉及其中。
55.(2)大型监控网络中视频信号必须通过长距离电缆传输、多级矩阵切换以及多级网络转发，电源、控制器等多种干扰信号可能对视频信号产生强烈的干扰，线路老化、接头松动等现场环境的变化可能带来视频噪声。
56.(3)很多治安监控系统的特点是大量使用ptz球机，长期的运动变焦有可能让部分球机发生方向错误、不可控等故障。
57.为了确保所有的视频输入设备正常工作，视频图像录而可用，就需要随时检查和分析视频质量和球机运行状态。本技术实施例中，针对视频监控系统维护的现状，提出了基于人工智能的视频图像质量诊断云平台，该云平台实现的基于视频图像分析的视频监控设备故障监测方法，包括如下步骤：
58.对所有接入的视频监控设备进行分组；
59.按照预设的监测顺序依次访问每个设备组对应的设备列表，遍历当前被访问的设备组的设备列表中的每一个设备，顺序切换接通每个当前遍历的设备的视频信号传输通道；
60.接收当前接通的视频信号传输通道传输的预设时长的视频段，并将所述视频段作为基本单位对应分配到所述设备所属设备组的至少一个预设图像分析任务的任务队列中，以执行对所述视频段的图像分析任务。
61.本技术实施例中，通过智能的视频图像质量诊断云平台，实现摄像头实时自动进行故障检测、识别和告警，可能发生的故障现象及时预警，以最快和最佳的方式向用户提供故障信息。
62.具体的，该视频图像质量诊断云平台，获取前端所有摄像机的视频信号，通过轮询的方式对各路视频信号进行检测，具体的，可通过摄像头管理模块管理所有需要故障检测的摄像头的信息，包括添加、删除和编辑摄像头、摄像头区域、摄像头品牌等功能，通过轮询检测任务设置模块，设置一个检测任务的待检测的一组摄像头、一个检测任务包含的多个预设图像分析任务、以及该设备组执行该检测任务的循环检测的次数，也可以设置多个检测任务。设置好检测任务后，在启动每个检测任务时，按照设备组内摄像头的顺序一路一路切换视频、分析其视频质量、故障报警、结果存储。
63.另外，在接收当前接通的视频信号传输通道传输的预设时长的视频段后，还包括：将采集到的视频段统一转换输出为图像分析需要的非压缩的数字视频流。
64.对接收到的视频段，通过视频故障分析模块，使用基于机器学习和计算机视觉等算法进行视频图像故障分析的方法，按设定的图像分析任务项对输入的数字视频流进行多种常见故障的检测，最终输出一条对摄像头的检测结果以及一张视频截图。
65.进一步的，上述设备所属设备组的至少一个预设图像分析任务，包括：
66.基于每个设备组为所述设备组默认分配图像分析任务全集，所述图像分析任务全集包括视频信号缺失、视频清晰度异常、视频亮度异常、视频噪声、视频雪花、视频偏色、画面冻结；
67.基于每个设备组的设备属性在图像分析任务全集中过滤部分图像分析任务；
68.获取对应每个设备组的至少一个预设图像分析任务。
69.本技术实施例中，将视频故障分成视频信号缺失、视频清晰度异常、视频亮度异常、视频噪声、视频雪花、视频偏色、画面冻结等七种类型，其中，视频信号缺失、画面冻结两种故障可通过人工设计的基于视频图像比对的方法得出结论，其他五种故障，很难通过人工设定规则的方法来检测，本技术实施例中通过机器学习的方法，让机器来模拟人的视觉反应，检测视频是否存在故障。
70.采用了视频图像分析的方法来检测监控系统中存在的各种视频常见故障，针对不同类型视频故障，在实际运行的视频监控系统中提取大量的视频片断，包括正常视频以及存在各种故障的视频，形成训练样本，并模拟人类视觉特性，针对不同故障类型提取了大量视频图像特征参数，用以训练得到诊断不同故障的图像分析方法，在分析阶段，获取需要分析的一个视频段，根据设定的该路视频的至少一个预设图像分析任务，提取相应的视频图像特征，使用不同的图像分析方法，获取对该段视频的图像分析结果。
71.进一步的，上述基于每个设备组的设备属性在图像分析任务全集中过滤部分图像分析任务，包括：
72.基于预设的所述设备组对应的不感兴趣的图像分析任务项，过滤部分图像分析任务；
73.和/或
74.基于所述设备组的历史图像分析任务执行结果，确定所述设备组的感兴趣图像分析任务项，所述设备组的感兴趣图像分析任务项表征所述设备组采集图像异常发生概率符合预设条件的图像分析任务项。
75.本技术实施例中，轮询检测任务设置模块，可以根据不同的检测目的，对每个分组设置单独的非检测项目，以跳过不关心的检测项目。具体的，每个设备组的非检测项目，可以通过人工设置方式，预设对应于每个设备的不感兴趣的图像分析任务项，以此在执行检测任务时，跳过对不感兴趣的图像分析任务项的执行，考虑到人力成本高的问题，本技术中还提供了自动为每个设备组选择感兴趣图像分析任务项和过滤不感兴趣图像分析任务项的方法，基于设备组的历史图像分析任务结果，确定出该设备组发生概率较大的故障类别，并对应于该类可能发生的故障设置图像分析任务。当然，针对单独的设备可以在进行设备组的检测任务后单独设置自己的需要单独执行的图像分析任务。
76.进一步的，上述基于所述设备组的历史图像分析任务执行结果，确定所述设备组的感兴趣图像分析任务项，包括：
77.获取针对所述设备组进行多个图像分析任务选择操作时，对每个图像分析任务选
项的历史操作信息，所述操作包括勾选和不勾选；
78.基于所述历史操作信息，获取所述历史操作的不同类型的频率特征；
79.基于所述频率特征和所述设备组的标签特征，通过预设的神经网络模型预测输出针对所述设备组的感兴趣图像分析任务项。
80.本技术实施例中，考虑了用户在对设备组进行多个图像分析任务选择操作时，对于不同的图像分析任务会有不同的选择操作，可能会选择也可能不选择，因此，可以基于历史选择操作信息，预测针对于设备组的每个图像分析任务的感兴趣和不感兴趣，为用户对设备组进行多个图像分析任务选择操作时，自动提供最适合的推荐选项，当然用户可以在此基础上进行图像分析任务选择的最终确认，进而实现在执行设备组故障检测任务时，自动跳过不感兴趣的图像分析任务。
81.上述设备组的标签特征包括设备的参数信息和工况信息特征，其中设备的参数信息包括摄像头所属区域、品牌等，设备的工况信息包括设备使用年限、摄像机的采集参数设置(摄像机分辨率、摄像机对光照的灵敏度、镜头聚焦调整、色彩校正等)、运行环境信息、故障记录等。
82.进一步的，上述基于所述设备组的历史图像分析任务执行结果，确定所述设备组的感兴趣图像分析任务项，还包括针对每个设备确定单独的感兴趣图像分析任务项：
83.根据所述设备的类型和运行参数，构建所述设备的生命周期运行模型；
84.基于所述生命周期运行模型，确定所述设备当前时间阶段的采集图像发生不同异常的概率；
85.基于所述发生概率符合预设条件的异常确定所述设备的感兴趣图像分析任务项。
86.本技术实施例中，针对不同类型、设备品牌以及运行环境参数的视频监控设备，可以构建不同的生命周期模型，该生命周期模型提供设备在不同使用年限时的最大概率发生的多个故障，基于该生命周期模型可以确定当前时期设备可能会发生的故障以及确定对应的图像分析任务。
87.进一步的，上述遍历当前被访问的设备组的设备列表中的每一个设备，顺序切换接通每个当前遍历的设备的视频信号传输通道，包括：
88.按照当前被访问的设备组的设备列表，循环至少一次遍历当前设备列表中的每个设备，顺序切换接通每个当前遍历的设备的视频信号传输通道。
89.本技术实施例中，对于每个设备组的一个检测任务，一个检测任务包括多个图像分析任务，一个检测任务可以连续循环若干次，即对当前设备组进行检测任务时，顺序切换接通每个设备的视频信号传输通道，获取设备组中从第一个设备到最后一个设备的一个视频段后，可以再次切换到该设备组的第一个设备获取视频段，对每个视频段分别进行多个图像分析任务，通过循环多次对一个设备组执行检测任务，对设备组内的设备的多个视频段进行图像分析，确保了分析结果的准确性。
90.进一步的，上述将所述视频段作为基本单位对应分配到所述设备所属设备组的至少一个预设图像分析任务的任务队列中，以执行对所述视频段的图像分析任务，还包括：
91.预测所述视频段在每个图像分析任务的任务队列中的执行时间；
92.获取所述图像分析任务执行结果，所述执行结果包括对应的视频段、视频段对应的设备、设备所属分组、图像分析结果；
93.获取同一设备的所有预设图像分析任务执行结果以及同一分组内所有设备的任务执行结果；
94.基于执行结束时间预测数据，在执行结束时间前，轮询检测是否已经获取所有图像分析任务执行结果；
95.若是，则基于所述图像分析任务执行结果，综合分析所述视频监控设备的故障情况；
96.在执行结束时间后，获取未获得执行结果的图像分析任务对应的检测模块，获取检测子任务执行异常原因。
97.本技术实施例中，采集的每个视频段在加入图像分析任务的任务队列中时，携带与该视频段对应的身份标识，该身份标识包括检测任务编号、设备组编号、设备编号以及在该检测任务中的所属循环次数，在检测任务执行结束时，通过该身份标识，获取同一设备的所有预设图像分析任务执行结果以及同一分组内所有设备的任务执行结果，并且对每个设备组的每个设备的每个采集视频段的多个图像分析任务执行阶段进行监测，在预测的检测任务执行结束前，轮询已完成的图像分析任务数量，在预测的检测任务执行结束时间后，判断是否存在未完成的图像分析任务，确保执行图像分析任务的任务处理节点正常运行。
98.其中，对于一个设备的故障情况综合分析，包括基于该设备当天参与的所有的检测任务、所有的图像分析任务进行综合打分，也可以是对某一时间段的某种属性的摄像头的故障情况进行综合分析。
99.进一步的，上述所述预测所述视频段在每个图像分析任务的任务队列中的执行时间，包括：
100.获取当前时间各个图像分析任务的任务队列长度；
101.确定不存在超过长度阈值的任务队列，则根据图像分析任务的任务队列长度确定当前视频段在每个图像分析任务的任务队列中的执行时间；
102.确定存在超过长度阈值的任务队列，则依据所述任务队列长度对各个图像分析任务进行从大到小排序；
103.依据图像分析任务队列顺序获取前第一数量个任务队列的第二数量的未完成任务个数；
104.依据图像分析任务队列顺序获取后第三数量个任务队列的任务处理节点的未完成任务个数；
105.从第三数量个任务队列的任务处理节点中选择第四数量个任务处理节点更换到前第一数量个任务队列中，所述第四数量个任务处理节点为第三数量个任务队列的任务处理节点中未完成任务个数较小的任务处理节点，所述更换包括将第四数量个任务处理节点等任务类型更新为前第一数量个任务队列的任务类型；
106.基于更换任务处理节点后的任务队列确定当前视频段在每个图像分析任务的任务队列中的执行时间。
107.本技术实施例中，第四数量和第二数量具有对应关系，进一步基于第二数量确定第一数量。任务队列中任务处理节点，接收到一个图像分析任务后进行处理，并将该图像分析任务执行结果反馈到控制节点，控制节点在接收到该任务处理节点的反馈结果后，为该任务处理节点发送新的图像分析任务。避免单次为一个任务处理节点发送多个图像分析任
务，实现对图像分析任务分配到不同任务处理节点的可更换，进而提高多个图像分析任务的任务队列的执行效率。
108.本技术实施例中，对于每个图像分析任务的任务队列中的任务执行时间的预测是动态更新的，当然，对该执行时间的预测包括对执行开始时间和结束时间的预测。
109.本发明一个实施例提供了一种基于视频图像分析的视频监控设备故障监测系统，包括：
110.设备分组模块，用于对所有接入的视频监控设备进行分组；
111.设备组视频通道切换模块，用于按照预设的监测顺序依次访问每个设备组对应的设备列表，遍历当前被访问的设备组的设备列表中的每一个设备，顺序切换接通每个当前遍历的设备的视频信号传输通道；
112.设备故障分析模块，用于接收当前接通的视频信号传输通道传输的预设时长的视频段，并将所述视频段作为基本单位对应分配到所述设备所属设备组的至少一个预设图像分析任务的任务队列中，以执行对所述视频段的图像分析任务。
113.需要说明的是，上述实施例提供的视频监控设备故障监测系统，在实现其功能时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的视频监控设备故障监测系统与相应方法实施例属于同一构思，其具体实现过程详见对应方法实施例，这里不再赘述。
114.本发明一个实施例还提供了一种电子设备，所述电子设备包括：
115.处理器；
116.用于存储处理器可执行指令的存储器；
117.其中，所述处理器通过运行所述可执行指令以实现如权利要求1
‑
7中任一项所述的视频监控设备故障监测方法。、
118.存储器可用于存储软件程序以及模块，处理器通过运行存储在存储器的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、功能所需的应用程序等；存储数据区可存储根据所述设备的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器还可以包括存储器控制器，以提供处理器对存储器的访问。
119.本发明一个实施例还提供了一种计算机可读存储介质，其上存储有计算机指令，其特征在于，所述指令被处理器执行时实现如权利要求1
‑
7中任一项所述视频监控设备故障监测方法的步骤。
120.可选地，在本发明实施例中，上述存储介质可以包括但不限于：u盘、只读存储器(rom，read
‑
only memory)、随机存取存储器(ram，random access memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
121.本发明不局限于上述具体的实施方式，本领域的普通技术人员从上述构思出发，不经过创造性的劳动，所做出的种种变换，均落在本发明的保护范围之内。